数据工程师（生成式 AI 方向）

【岗位职责】
1、数据采集与整理：依据业务与模型需求，设计并实现网页爬虫、开放 API 调用等数据采集流程。处理多种非结构化数据（如网页文本、Markdown、PDF 等）的解析、抽取与结构化落库；
2、根据算法团队需求，构建和整理指令数据、问答数据、对话数据等，按约定格式生成训练语料。对原始数据进行脱敏、切分、标签整理等预处理，为标注与训练环节提供合规且高质量的数据输入；
3、配合后端与算法团队，搭建支撑 AI 应用（如智能助手、知识问答、智能客服等）的数据流程，包括向量化处理、索引构建、日志采集、用户反馈数据沉淀、特征更新等；
4、与产品、算法、后端等团队保持良好沟通，理解业务背景与需求，能够对数据方案提出合理建议。

【任职要求】
1、计算机科学、软件工程、数据科学、数学等相关专业，本科及以上学历；
2、熟练使用 Python 进行数据处理与脚本开发，熟悉常见数据处理或 ETL 相关库（如 pandas 等）；
3、具备扎实的 SQL 基础，能够独立完成常见的数据查询、聚合统计与基础性能优化；
4、对大语言模型训练数据的重要性有基本认识，理解指令数据、对话数据、知识库数据等在模型效果中的作用；
5、具备良好的沟通表达与跨团队协作能力；
6、工作严谨细致，具备责任意识和自驱力，能够在不完全确定的环境中推动任务落地。