数据处理工程师

数据处理工程师
岗位职责
处理多类型数据集，包括图像、视频、文本、JSONL、HDF5 等格式。
执行数据清洗、格式转换、标注整理、结构化存储、数据质量检查等任务。
使用 OpenCV、NumPy、PIL、Torch.Tensor 等工具进行图像/视频处理与数据预处理。
开发基础的数据可视化能力（如数据质量展示、分布分析、采样预览等），并可借助 AI 工具辅助开发效率。
编写稳定可复用的数据处理脚本、工具组件或流程自动化 pipeline。
输出清晰规范的数据文档，包括数据结构、处理方法、问题记录与变更说明。
任职要求
本科及以上学历，计算机、电子信息、软件工程、人工智能、数学、统计学或相关专业优先。
熟练使用 Python 进行数据处理开发，掌握常用工具库，如： NumPy、Pandas、PIL、OpenCV、pytorch等
熟悉 Linux 环境、Shell 脚本、Git 基本使用能力。
熟悉常见数据格式解析，包含 JSON、JSONL、CSV、TXT、图像格式、视频编码格式、HDF5 等。
熟悉基础数据结构、处理流程设计与性能优化。
AI 工具使用能力
具备使用 AI 工具提升开发效率的习惯，能够将其应用于代码生成、文档撰写、调试与自动化流程辅助，例如：
ChatGPT / Claude / Gemini / Qwen
Cursor / Windsurf / Aider / Devin-like coding assistants
Copilot / Codeium / JetBrains AI Assistant
可根据需求使用 AI 辅助数据处理脚本生成、格式转换、自动标注辅助、可视化脚本优化等场景
加分项
有多模态数据处理经验（图像 / 视频 / 文本 / 传感器数据 / OCR 数据）。
熟悉基础可视化工具（如 Matplotlib、Seaborn、Plotly、CV2 可视化接口等）。
有数据标注流程管理经验或自动标注工具使用经验。
有数据 pipeline、自动化任务调度、批处理工具开发经验。
具备良好的沟通能力，能够撰写规范清晰的数据和技术文档。