数据开发

岗位职责：
1：需求分析与方案设计
需求对接：深入业务部门（如市场、运营、财务），梳理业务场景的数据需求（如用户行为分析、销售预测），明确数据应用目标。
2：需求拆解：将模糊的业务问题转化为可落地的数据需求文档（PRD）定义数据指标、计算逻辑及输出形式（如报表、API接口）。
3：技术方案设计：制定数据开发方案，包括数据源选择（业务库/日志/第三方）、ETL流程设计及数据模型（星型模型、宽表）搭建。
数据开发与交付
4：数据管道建设：开发ETL任务（使用工具如DataX、Kettle或自研脚本），实现多源数据抽取、清洗、转换与加载，确保数据时效性与准确性。
数据服务开发：根据需求开发数据接口（RESTfulAPI）、数据订阅服务或BI数据集，支持业务系统调用或分析场景。
5：实时数据处理：针对实时监控场景（如风控、广告投放），Flink/Kafka流式计算链路，输出低延迟数据结果。
数据资产管理与优化
数据模型迭代：基于业务变化优化数据分层（ODS/DWD/DWS/ADS），重构冗余模型，提升
复用性与查询效率。
数据血缘与质量监控：建立数据血缘图谱，配置数据质量规则（如空值率、波动阈值），定期产出数据健康度报告。
成本治理：优化存储与计算资源（如分区策略、冷热数据分离），降低大数据集群运维成本。
协同数据团队：与数据仓库工程师、数据分析师协作，确保数据口径一致，输出统一的数据字典与指标说明。
赋能业务团队：提供数据使用培训，解答数据异常问题，推动数据驱动决策的文化落地。
岗位要求：
具链：精通SQL/Hive，掌握Python/Java/Scala至少一种开发语言，熟悉Hadoop/Spark/Flink等大数据框架。
数据建模：熟悉维度建模、范式建模方法，能根据业务场景设计高效模型。
数据治理：了解数据质量管理、元数据管理工具（如ApacheAtlas、DataHub）。
业务软技能
需求洞察：快速理解业务逻辑（如电商GMV构成、用户生命周期管理），挖掘隐性需求。
沟通能力：能用非技术语言向业务方解释技术方案，平衡需求优先级与开发成本。
项目管理：协调开发排期，管理需求变更，确保交付时效。行业知识具备垂直领域经验者优先，例如：金融：熟悉风控指标、反欺诈数据链路。零售了解供应链库存预测、会员分层模型。广告：掌握CTR预估、流量归因分析逻辑。连锁品牌经验的人员优先。