大数据开发

数据开发工程师，要求同时熟悉Java和python开发。 1、Java 技术栈： 熟练掌握Java基础，熟悉Hadoop、Hive、Spark、Flink核心原理与使用场景，具备大数据相关后台功能开发及问题排查能力。（优先考虑：同时熟练使用SpringBoot、SpringCloud进行数据服务、后台服务、数据接口开发；熟悉微服务架构） 2、Python技术栈： 必须熟练掌握Python数据开发能力，熟悉Pandas、Numpy进行数据清洗、数据转换、数据统计；熟练掌握大数据主流生态组件；熟练使用Python开发数据调度脚本、自动化数据处理工具、数据服务接口，支撑数仓建设、数据治理、数据监控等场景。 3、数据存储、数仓与中间件： 熟练掌握MySQL，精通SQL优化、复杂查询、数据统计分析；熟悉数仓建模理论，掌握ODS、DWD、DWS、ADS分层设计思路，具备数据仓库分层建设经验；熟悉Hive数仓开发、分区、分桶及SQL调优；熟悉Redis、Kafka等。