职位描述
数据抽取PythonJavaSQLFlumeSqoop多源异构数据采集数据采集监控告警ETL流程处理
工作职责
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖API接口、日志、数据库等数据源。
2. 构建数据采集任务的监控体系与异常告警机制,保障数据采集的实时性与完整性。
3. 优化数据采集流程,提升数据处理效率,降低系统资源消耗。
4. 与业务团队协作,理解数据需求并输出符合规范的采集结果,支撑下游数据应用。
任职要求
1. 本科及以上学历,计算机、统计学等相关专业,基础扎实。
2. 掌握至少一种数据采集工具(如Flume、Logstash、Sqoop),熟悉Python/Java等编程语言。
3. 具备数据库(MySQL、MongoDB)操作经验,了解SQL查询优化。
4. 熟悉数据清洗、转换等ETL流程,能独立解决数据采集过程中的质量问题。
5. 具备良好的问题分析能力与沟通能力,能快速定位并解决采集任务中的技术难点。
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖API接口、日志、数据库等数据源。
2. 构建数据采集任务的监控体系与异常告警机制,保障数据采集的实时性与完整性。
3. 优化数据采集流程,提升数据处理效率,降低系统资源消耗。
4. 与业务团队协作,理解数据需求并输出符合规范的采集结果,支撑下游数据应用。
任职要求
1. 本科及以上学历,计算机、统计学等相关专业,基础扎实。
2. 掌握至少一种数据采集工具(如Flume、Logstash、Sqoop),熟悉Python/Java等编程语言。
3. 具备数据库(MySQL、MongoDB)操作经验,了解SQL查询优化。
4. 熟悉数据清洗、转换等ETL流程,能独立解决数据采集过程中的质量问题。
5. 具备良好的问题分析能力与沟通能力,能快速定位并解决采集任务中的技术难点。
工作地点
上海市松江区叶榭镇斌颖烟酒附近48米

认证资质
营业执照信息

更新于 今天





