职位描述
JavaPython数仓开发HadoopHiveSparkFlink
岗位职责
1、负责离线、实时数据模型(含ODS、DWD、DWS等层级)的设计、开发与实现,搭建完善的数据监控体系,及时排查并解决数据开发及运行过程中的各类技术问题。
2、深入对接业务需求,提供大数据技术解决方案,支撑现有业务数据处理需求,同时具备前瞻性,能应对未来业务快速增长带来的海量数据处理挑战。
3、提供面向业务方的报表、数据提取等数据服务;
任职要求:
1、计算机或相关专业本科及以上学历,2年以上数据仓库设计开发经验;
2、具备较好的沟通能力、适应能力和理解能力;
3、有运营商经分、数据仓库建模经验者优先;
4、精通Hive编程,能编写复杂Hive SQL并具备性能优化能力;熟悉Hadoop生态相关技术及实践经验,包括但不限于HDFS、MapReduce、HBase、Spark、Flink、Doris、Kafka、Zookeeper、Flume、DataX等;具备海量数据加工、处理与分析的实战经验。
5、深入了解大数据在不同场景下的读写业务流程及优化原理,具备Hive/Spark/Flink等组件的性能调优能力;能快速定位分布式系统中的数据延迟、计算瓶颈等问题并给出解决方案。
6、掌握至少一门主流编程语言(Java/Scala/Python/Shell等),能熟练运用其进行大数据相关脚本开发、任务调度及自动化工具实现。
1、负责离线、实时数据模型(含ODS、DWD、DWS等层级)的设计、开发与实现,搭建完善的数据监控体系,及时排查并解决数据开发及运行过程中的各类技术问题。
2、深入对接业务需求,提供大数据技术解决方案,支撑现有业务数据处理需求,同时具备前瞻性,能应对未来业务快速增长带来的海量数据处理挑战。
3、提供面向业务方的报表、数据提取等数据服务;
任职要求:
1、计算机或相关专业本科及以上学历,2年以上数据仓库设计开发经验;
2、具备较好的沟通能力、适应能力和理解能力;
3、有运营商经分、数据仓库建模经验者优先;
4、精通Hive编程,能编写复杂Hive SQL并具备性能优化能力;熟悉Hadoop生态相关技术及实践经验,包括但不限于HDFS、MapReduce、HBase、Spark、Flink、Doris、Kafka、Zookeeper、Flume、DataX等;具备海量数据加工、处理与分析的实战经验。
5、深入了解大数据在不同场景下的读写业务流程及优化原理,具备Hive/Spark/Flink等组件的性能调优能力;能快速定位分布式系统中的数据延迟、计算瓶颈等问题并给出解决方案。
6、掌握至少一门主流编程语言(Java/Scala/Python/Shell等),能熟练运用其进行大数据相关脚本开发、任务调度及自动化工具实现。
工作地点
成都双流区海思科广场1号楼5楼

公司信息
公司介绍
杭州明讯软件技术有限公司成立于2009年,注册资金5000万。2010年认定为软件企业、杭州市雏鹰企业;2012年通过了ISO9000质量管理体系认证并被认定为国家级高新技术企业。公司致力于移动通信及移动互联网领域的创新型产品的开发、销售、服务与运营。公司宗旨:坚持“科技立身”、“开拓创新”作为企业生存发展永恒不变的主题。公司理念:公司坚持“技术提升服务品质、服务推动技术发展”的理念,为用户提供优质的技术服务。经过多年的发展及积累,公司各项业务拓展迅速,在数据业务感知测试、业务系统质量提升、数据业务系统维护等领域开发出了具有较强竞争力的自主产品,同时在产品服务上拥有了一支具有多年实践经验的技术开发与维护服务队伍,现拥有员工100多人,其中90%以上具有本科以上学历。
工商信息
企业名称 杭州明讯软件技术有限公司
企业类型 有限责任公司(自然人投资或控股)
法人代表 胡国章
经营状态 存续
成立时间 2009-03-13
注册资本 5000万元
认证资质
营业执照信息

更新于 今天



