更新于 12月5日

大数据开发工程师

1-2万
  • 北京海淀区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

数据挖掘PythonJavaETLHadoopSparkKafka
岗位职责:
1.实时&离线运行数据仓库建设;
2.参与平台Hadoop/spark/kafka等组件疑难问题的研究和解决;
3.设计、构建和维护可扩展、高性能的数据管道,以收集、转换和处理大规模数据,进行高级分析;
4.优化数据提取、转换和加载(ETL)过程,以提高数据质量和效率;
5.数据中台化能力(数据血缘,元数据管理、数据安全、MLops等);
6.参与平台作业的性能优化与升级;
7.根据业务需求开发各类工具。
岗位要求:
1.计算机相关专业,硕士1年以上工作经验,本科3年以上工作经验;
2.熟练掌握Python/Java/Scala中至少一种编程语言;
3.熟悉HDFS、Spark、Flink、Kafka等相关开源项目,并从事过海量数据的实践与流数据处理经验者优先;
4.熟练使用Postgresql或Mysql数据库,了解Clickhouse/Doris等OLAP型数据库的使用;
5.熟练使用常见分布式存储Redis、ES、Hbase、Hudi等;
6.加分:熟悉Spring boot的框架、微服务框架等;
7.加分:熟悉数据挖掘的常用算法,能够进行海量数据处理和挖掘;有时序数据算法工作经验者优先。

工作地点

北京海淀区永泽北路11号纵横机电南区

职位发布者

包女士/HRD

昨日活跃
立即沟通
公司Logo北京德天博诚科技有限公司
北京德天博诚科技有限公司成立于2008年,核心团队由PLM/MES/CAPP/PDM领域的专业人士构成。作为达索系统铂金代理,是达索智能制造核心合作伙伴,公司集中了制造业信息化领域的专业人才、领先技术和一流产品及服务等资源优势,形成了具有鲜明特色的核心竞争力,是国内具有较强竞争力的制造业信息化整体解决方案提供商。公司业务涵盖了高科技、汽车、轨道交通等工业装备行业,德天博诚以“产品+集成+服务”的模式构筑制造业信息化整体解决方案,即以专业产品为点,为企业的研发设计部门提供功能强大的工具软件,以管理软件为线,为整个制造业企业提供先进的管理方式及理念。公司逐步形成了三大核心业务--产品研发、代理销售、咨询服务,为制造业企业提供数字化设计和制造及数字化管理解决方案,通过缩短产品上市时间、减少错误发生等为企业节省大量开支,达到降本增效的目的,提升企业的竞争力。“与时俱进不断创新”是德天博诚发展的原动力。经过十几年的发展,德天博诚不满足于仅仅提供优质产品和先进的技术,公司正在寻求与客户建立更深层次的关系,帮助客户不断创新并在市场上取得成功。“只有客户获得成功,我们才会成功”,这种新的定位使德天博诚真正成为顾客导向型的IT服务公司。这种理念赋予企业一个新的身份——建立与客户的关系并帮助他们获得成功。如今,这种理念正渗透在德天博诚的业务经营中。
公司主页