职位描述
· 本科及以上学历,计算机、数学、统计学等相关专业,3年以上大数据开发经验;
· 熟悉 Hadoop 生态体系,精通以下组件:
· HDFS:分布式文件系统原理与使用
· MapReduce / Spark:批处理框架,掌握 Scala 或 Python API
· Flink:实时流处理框架,熟悉窗口、状态管理、Exactly-Once 语义
· Hive:数据仓库工具,熟悉 HQL,掌握分区、分桶、优化技巧
· Kafka:消息队列,熟悉生产者/消费者模型、Topic 设计
· 熟悉数据存储系统,如:
· HBase / ClickHouse / Doris / Iceberg / Hudi
· 熟练使用 SQL,具备复杂查询与调优能力;
· 熟悉数据建模方法,了解 Kimball 或 Inmon 模型设计思想;
· 掌握至少一种编程语言: Java / Python,具备编写 ETL 脚本能力;
· 熟悉调度系统(如 Airflow、DolphinScheduler)进行任务编排;
· 熟悉 Linux 环境,掌握 Shell 脚本编写;
· 具备良好的数据敏感度和逻辑思维能力。
· 负责大数据平台的搭建、维护与优化,支撑公司数据业务发展;
· 设计并开发离线和实时数据处理 pipeline,完成数据采集、清洗、转换与存储;
· 参与数据仓库模型设计(如维度建模、星型/雪花模型),构建稳定的数据分层体系(ODS → DWD → DWS → ADS);
· 使用大数据技术栈进行海量数据的处理与分析,支持报表、BI 和机器学习等下游应用;
· 优化数据处理任务的性能,提升作业执行效率与资源利用率;
· 编写数据治理相关脚本,保障数据质量与一致性;
· 与数据分析师、算法工程师协作,提供高质量数据支持。
工作地点

公司信息
公司介绍
迈思信息技术有限公司(MaesInfo)是一家布局全球的专业软件产品及软件开发服务公司,在美国硅谷,匹兹堡, 欧共体以及中国的多个城市都拥有自己的分公司,研发中心或外包业务中心。公司主要提供IT外包(ITO),商业流程外 包(BPO), 智能化解决方案,为客户提供高效率,高质量及高可预期性的服务。作为外包服务主要提供商,我们拥有专业的市场分析员,系统架构师,技术顾问,界面设计师,软件工程师,数据库管理工程师及质量管理工程师。我们提供基于面向服务架构(SOA)的企业信息系统服务,及具有创造性的用户界面设计,电子商务软件开发和事务流程自动化等快速优质的软件外包和离岸开发服务。我们的客户遍布于制造、金融服务、医疗、零售等行业,其中包括有世界排名前500强的高科技企业。并且在北美、日本建立了广泛的外包渠道,在业界有着突出的成绩。在中国,我们最大的外包研发中心建立在西部外包业务的福地四川成都,这里孕育着大批优秀的软件专业人才。在江苏常州,我们建立了面向华东地区的软件研发及外包业务中心,其中常州的软件研发项目入选当地领军型海归人才项目,并获得海归领军型人才项目专项资助。与此同时,常州的外包业务中心开始承接海外外包项目,特别是在美国的全球500强企业的离岸外包业务。在深圳及西安, 我们正在建设地区性软件研发及外包业务中心, 面向地区市场,并承揽海外业务。此外, 在美国硅谷,欧共体及卡尔加里我们都拥有自己的分公司,这使得我们的全球客户服务具备地理位置上的绝对优势。 MaesInfo is a leading provider of professional outsourcing service with a Global Development Center in Chengdu,China and as well as PM offices in the USA and Canada.MaesInfo engages in IT Outsourcing(ITO)and R&D while also developing its software products.MaesInfo's goal is to become China's IBM and we strive to be the leader of China's IT Outsourcing industry.Our Global Software Development Center is located in Chengdu,China and offers a hotbed for nurturing the talent to develop and deploy the world's highest-quality software.With branches in Beijing, Silicon Valley and Calgary,we're well positioned to serve our customers globally around the clock.We offer a disciplined approach to offshore outsourcing for companies all over the world.Our high-quality and low-cost operating model allow us to pass on more than 50% cost savings to our clients while continuing to improve our productivity and predictability.As a leading provider for Enterprise Information Systems based on Service Oriented Architecture(SOA),we stand out with an impressive track record across various industries all over the USA and Japan.Our top-notch team includes Business Analysts,Architects,Process Consultants,Interface Designers,Software Engineers,DBA and QA/QC Engineers etc.欢迎浏览公司网站:http://www.maesinfo.com ; http://www.maesinfo.cn

更新于 今天





