一、岗位职责 1、数据清洗与预处理： 负责海量原始数据的清洗、去噪、去重及结构化处理，解决数据不一致性、缺失值等问题； 构建高效的数据清洗流程和自动化工具，提升数据质量与可用性。 2、数据系统开发与维护： 参与大数据平台架构设计与开发，包括分布式存储、计算系统（如Hadoop、Spark、Flink等）的部署与优化； 开发高效ETL工具与数据管道，保障数据高效流转与实时性需求。 3、数据中台搭建与治理： 主导或参与企业级数据中台建设，整合多源异构数据，提供统一数据服务接口； 设计数据分层模型（ODS/DWD/DWS/ADS），制定数据治理规范，确保数据资产的可复用性。 4、大模型数据处理与支持： 针对大模型（如LLM、多模态模型）训练与推理需求，完成大规模数据集的采集、标注、特征工程及分布式处理； 优化数据存储与计算链路，提升大模型训练效率，支持算法团队完成数据驱动的模型迭代。 二、任职要求 1、计算机科学、数据科学、统计学等相关专业本科及以上学历； 2、3年以上大数据开发经验，具备完整的大数据平台或数据中台项目落地经验。 3、技术能力： 核心技能： 精通Java/Python/Scala等至少一门编程语言，熟悉SQL及NoSQL数据库； 熟悉Hadoop生态组件（HDFS/YARN/Hive/Spark/Flink等），具备调优经验； 熟练使用数据清洗工具（如Pandas、Spark SQL），具备复杂数据问题解决能力。 数据中台经验： 熟悉数据仓库建模理论，具备数据血缘、元数据管理、数据服务化（API/数据湖）实践经验； 了解主流数据中台架构（如阿里DataWorks、网易数帆等）或有自研经验者优先。 大模型数据处理： 熟悉大模型数据处理流程（如Tokenization、分布式并行训练数据预处理）； 有TensorFlow/PyTorch等框架下的大规模数据处理经验，熟悉GPU集群优化者优先。 4、优秀的逻辑思维与问题拆解能力，能独立承担复杂数据任务； 5、良好的团队协作意识，能与算法、产品、业务部门高效沟通； 6、对技术前沿敏感，具备技术方案快速落地的执行力。