AI数据工程师

1.负责构建大模型场景应用数据集，包括训练数据集、微调数据集和测试数据集等；
2.负责数据平台设计与开发，包括数据采集、数据清洗、数据去重、数据标注、质量评估、数据发布等策略制定及相关工具开发；
3.负责数据平台与大模型训练平台、大模型应用的对接集成，根据需求设计对接方案并工程化实现；
4.及时发现和定位数据问题，跟踪问题的解决进度，确保数据问题得到有效解决；
5.开展数据治理，持续提升数据质量，挖掘数据价值；
6.管理数据存储和数据安全，确保数据的保密性和合规性；
7.参与需求文档、设计文档、使用文档等材料编写；
任职要求：
1.统招本科及以上学历，计算机科学、数据科学、信息系统、统计等相关专业；
2.三年以上数据处理或人工智能相关工作经验；
3.具备较强的SQL编程能力，能够编写脚本进行数据处理；
5.具备较强的Python编程能力，熟练使用常用数据处理库（Pandas、NumPy）；
4.熟悉主流的数据库，如Oracle、MySQL、ES、MongoDB等;
5.熟悉主流的向量数据库，如Milvus、Chroma等；
6.熟悉大数据技术栈，如Hadoop、Spark等；
7.了解深度学习、大模型、RAG等相关技术，了解主流的大模型训练及微调方法；