更新于 6月7日

大数据开发工程师

1.8-3万
  • 北京朝阳区
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

JavaPythonHadoopFlinkSparkShell
岗位描述:
1、构建基于网络信息安全的大数据平台,设计并优化大数据基础平台。支持数据采集、存储计算、分析、监控和可视化全过程;
2、解决数据规模增长带来的技术、异地存储检索等业务问题;支撑上层应用对底层平台数据采集、存储/计算、调度、数据安全等能力的诉求,保障应用的高效稳定运行;
3、搭建基于Flink/Hadoop/Hive/Spark/Storm/Kafka 等的大数据平台,并负责集群日常维护管理,提供稳定的平台服务;
4、负责对Fink/Hadoop/Spark开发、使用中的技术问题提供支持;
5、参与项目的需求分析和设计工作,特别是数据分析和呈现部分,并完成相关技术文档的编写;
6、可以解决工作中的技术难题,并据业务需求提供方案设计支持;平台组件性能调优和资源调度优化。
任职要求:
1、本科及以上学历,计算机、软件工程相关专业,5年以上开发经验,其中3年以上大数据从业经验;
2、掌握常用的Java开发相关工具,如Idea,Maven,Git等,具备一定的Flink开发能力,能够参与实时数仓设计与开发;
3、精通Scala语言,熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/ElasticSearch等大数据相关技术,了解集群的部署升级、扩容缩容、性能和管理优化、问题排查等;
4、熟练掌握Python编程语言,及Python相关的WEB开发框架(例如Flask、Django);
5、linux操作系统操作熟练,具备进行复杂脚本(Shell/Python等)编程开发能力;管理及优化,以及排查及解决操作系统层常见的问题;
6、精通SQL,熟悉Mysql/Oracle处理机制及应用场景;熟悉NOSQL,如Redis、Hbase、MongoDB等;
7、有Druid、Clickhouse 或Kylin使用及性能优化经验者优先;
8、了解常见的全文搜索引擎,Elasticsearch、Apache Solr、RediSearch等;
9、熟悉大数据领域的解决方案,具备该领域全面的技术积累,思维清晰敏捷,逻辑分析能力强,有独立进行软件设计和解决问题的能力。

工作地点

北京市朝阳区青年路西里2号院11号楼底商西北角

职位发布者

张女士/人力资源干事

立即沟通
公司Logo北京紫东投资发展有限公司
北京紫东投资发展有限公司,隶属于北京首都开发控股(集团)有限公司房地集团,系北京市政府所辖市属三级企业。公司注册资本金2600万元,主营业务为投资管理、投资咨询、商业管理、资产管理、出租商业用房、房地产经纪业务、物业管理等。公司拥有包括写字楼、商业物业、住宅公寓以及停车场等多种类型物业资产7万余平方米,企业资产与资金实力丰厚。商业投资渠道多样,物业服务类型丰富,具有较强的市场竞争能力和光明的发展前景。在此,紫东公司诚邀各类青年才俊和高校菁英加入我们的团队,共同实现“科学发展、和谐共赢、团结拼搏、共创辉煌”的企业理念,为实现企业愿景目标与个人自身价值燃烧青春与能量。
公司主页