数据采集工程师

工作职责
1. 负责多源异构数据（结构化/非结构化）的采集方案设计与落地，覆盖API接口、日志、数据库等数据源。
2. 构建数据采集任务的监控体系与异常告警机制，保障数据采集的实时性与完整性。
3. 优化数据采集流程，提升数据处理效率，降低系统资源消耗。
4. 与业务团队协作，理解数据需求并输出符合规范的采集结果，支撑下游数据应用。
任职要求
1. 本科及以上学历，计算机、统计学等相关专业，基础扎实。
2. 掌握至少一种数据采集工具（如Flume、Logstash、Sqoop），熟悉Python/Java等编程语言。
3. 具备数据库（MySQL、MongoDB）操作经验，了解SQL查询优化。
4. 熟悉数据清洗、转换等ETL流程，能独立解决数据采集过程中的质量问题。
5. 具备良好的问题分析能力与沟通能力，能快速定位并解决采集任务中的技术难点。