大数据架构师

一、岗位职责：
1. 主导基于云原生（K8s+ECS）的高并发、低延迟大数据平台架构设计与验证，支撑智营平台的实时数据分析、用户画像、AI智能分析、业务自动化等场景；
2. 主导规划数据分层架构（ODS/DWD/DWB/DWS/ADS），设计流批一体解决方案（如：Flink+ Kafka + ClickHouse/ByteHouse）；
3. 主导负责构建平台技术核心骨骼系统，构建实时数据管道，如基于Flink实现复杂事件处理（CEP）、实时ETL及流式聚合，主导ClickHouse/ByteHouse集群部署、性能调优与高可用设计，设计数据湖仓一体方案，如整合对象存储（如：营销素材）与云数仓；
4. 主导性能与成本优化，主导PB级数据场景的查询优化（如ClickHouse物化视图、分布式表设计），实现资源弹性调度（K8s+HPA），平衡计算资源成本与SLA要求；
5. 主导技术风险管控，制定数据治理标准（元数据管理、数据血缘、质量监控），落地数据合规方案，设计灾备与回溯方案；
6. 跨团队协同，与AI团队协作设计特征工程平台与模型服务架构（如Flink ML + 模型在线服务），为业务部门提供实时数据API服务。
二、任职要求：
1. 至少5年以上大数据架构经验，至少2个完整的大数据平台从0到1建设案例；
2. 能用架构图清晰表达复杂系统（数据流向、容灾设计、安全边界），具备技术选型论证能力（如对比StarRocks vs ClickHouse），擅长编写技术白皮书/SOP文档，推动研发规范落地；
3. 精通流处理：Flink（必须掌握State管理、Checkpoint机制）、Kafka（ISR机制优化）；
4. 精通云数仓：ClickHouse（MergeTree引擎优化）、ByteHouse（云原生特性）；
5. 精通云服务：K8s（Helm/Operator部署）、如火山引擎等大数据服务；
6. 精通数据集成：Airflow/DolphinScheduler、Debezium/CDC工具；
7. 有ClickHouse百亿级数据集查询优化经验（索引设计、JOIN策略优化）；
8. 熟悉Flink反压处理、Kafka分区再平衡、K8s资源配额管理等调优场景；
9. 具备K8s化大数据组件部署经验（如Flink
on K8s、Prometheus监控告警）；
10. 熟悉Serverless架构在数据场景的应用（如Flink
Serverless化）；
11. 有智能营销平台（用户行为分析、实时推荐）架构经验者，主导过ByteHouse替代传统数仓（如Hive）的迁移项目者，熟悉GPU加速查询（如ClickHouse GPU支持）或向量数据库集成者，优先考虑。
12. 有团队管理经验者优先考虑。