数据开发工程师

1-1.5万

广州越秀区
1-3年
本科
全职
招8人

职位描述

JavaPythonShellHadoopSparkFlink数据开发、分析相关经验

岗位职责：1、负责利用公司自研平台进行数据治理交付、数据分析、服务开发和维护工作；
2、在数据治理过程中收集新需求，反馈给产品解决；
3、负责平台与大数据组件对接调试工作；
4、主导项目数据治理交付工作，参与数据治理架构设计；
5、在平台框架内进行数据治理UDF函数开发；
6、负责与其他部门之间数据对接工作；
7、完成领导交办的其他任务；

岗位要求：
1、本科学历，计算机相关专业，3年以内数据开发、分析相关经验，具备独立开发能力优先；
2、熟悉Java、Python、Shell任何一门语言优先；
3、熟悉使用mysql、posgresql、oracle等关系型数据库，熟悉 SQL 语法和 Linux 系统基本操作；
4、熟悉使用ssm框架，熟悉使用springboot以及springcloud全家桶开发；
5、熟练使用Hadoop、Spark、Hive、Flink、Hbase、Kafak、ES、Mpp等大数据框架，理解大数据组件底层工作原理，具备部署、调优和数据备份迁移能力；
6、具备利用大数据组件的开源功能进行数据ETL的能力；
7、熟悉流式数据处理框架以及离线数仓架构；
8、熟悉DAMA数据治理理论；
9、了解华为云、腾讯云、阿里云大数据组件的使用优先；
10、具备良好的业务理解能力，对数据敏感，有较强逻辑分析能力；
11、有极强的自我驱动力、较强的提炼能力/组织能力/沟通能力与情绪管理能力，具备强烈的责任心与良好的沟通能力和团队合作精神。