精通 Python 与 SQL,熟悉主流数据库与分布式计算框架(如 Spark、
ClickHouse、Presto、Flink 等);
熟悉 数据编排工具(Airflow、Prefect、Argo等)与任务调度机制;
了解 云端与容器化环境(AWS、GCP、K8s、Docker);
具备数据质量管理与自动化测试经验(如 Great Expectations、Soda、自研框架
等);
理解时间序列数据与特征滞后处理,熟悉版本化数据管理与数据契约概念;
具备基础的Linux、Git、CI/CD 流程知识。
要求:
5年以上数据工程或数据平台搭建经验;
至少2年技术团队管理或项目负责人经验;
有复杂系统中构建高可用数据架构的成功案例;
熟悉多源异构数据治理与数据合规(隐私、版权、使用协议等)。