岗位职责:
1、负责企业知识库建设、文档解析、数据清洗、结构化处理、向量库构建与维护;
2、负责模型训练/微调/评测数据采集、标注、去重、质量治理与pipeline搭建;
3、负责AI相关数据工程建设,包括高质量数据集、清洗、标注与合成,构建大模型训练、推荐场景的数据集,优化数据分布,提升模型训练效率与效果;
4、负责数据指标统计、效果埋点、日志分析,支撑产品与算法迭代;
5、保障数据安全、权限管控与合规,满足企业级数据要求。
任职要求:
1、本科及以上,计算机、软件工程相关专业,熟悉数据库、ES、向量库等储存方案;
2、有文本处理、数据治理、标注平台、知识库建设经验优先;
3、熟练使用数据处理工具,能独立完成数据流程搭建与优化;
4、严谨细致,重视数据质量与业务安全合规。