大数据工程师

本岗位前1-2年在天津，后期转回北京！！！
职责:
1、从事 Hadoop、Spark、Hbase、hive 等分布式大数据产品的设计和开发;
2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;
3、大数据平台各类数据业务抽象及模型化;
4、参与大数据管理平台的开发及维护;
5、负责大数据平台数据及相关的应用开发，调优及维护:
6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
7、良好的团队合作与沟通能力。
任职要求:
1、本科及以上学历，3年以上大数据应用开发经验;
2、具备 Java、Python、Scala其中两种语言的开发经验;
3、了解泛 Hadoop 大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka 其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先;
4、具备ETL开发与运维能力，有Flume、kettle经验优先;
5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先
6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先;
7、熟悉Linux系统环境，有she11等脚本编写经验，熟悉Mysq1、PostgreSql、0racle等常用关系数据库，熟练编写SQL语句;
8、熟悉 Yarn,Kubernetes,Azkaban等资源调度框架者优先;
9、熟悉 Datax的二次开发，并有实际开发经验优先。