职位描述
架构设计JavaSpringSOAHadoopSpark
工作内容:
1、基于海量非结构化数据进行业务分析、数据建模,并参与把控整个产品的解决方案设计;
2、负责离线/实时的数据存储和加工处理方案,保证数据质量,负责数据监测体系的建立和维护;
3、研究前沿技术,解决实际场景中的业务问题,优化离线/实时大数据计算任务的性能;
4、协助数据运营业务,构建丰富多样的BI应用。
人员要求:
1、2年以上的大数据产品开发经验,负责设计和开发过数据采集、数据整合、数据建模到数据展示的处理流程经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验;
2、熟悉常用开源分布式系统,对Hadoop/Hive/Spark/Spark Streaming/Storm/Flink/HBase/Druid中的一项或多项有深入了解,能够独立排查及解决分布式系统的问题;
3、熟悉Linux/Unix开发环境,熟练使用Java/python/shell,扎实的数据结构和算法功底;
4、熟悉spark MLlib、tensorflow等开源框架中的一种,具备在大规模数据上进行机器学习、深度学习算法开发经验,理解各类算法的优缺点和适用场景;
登录查看完整内容








