大数据及数据库工程师

职位概述
数据库系统管理能力的工程师。负责构建、维护和优化用户的数据基础设施，确保海量数据的高效处理、稳定存储和安全访问，并支撑数据分析、机器学习及业务决策系统。您需要对数据技术的全景有深入理解，并能在复杂的系统中找到平衡与创新的解决方案。
核心职责
1. 数据平台维护：大数据平台（如 Hadoop、Spark、Flink 生态）的架构部署、调优与日常运维。
2. 数据库管理与优化：负责各类数据库系统（OLTP：如 MySQL/PostgreSQL；OLAP：如 ClickHouse/Doris；NoSQL：如 Redis/MongoDB/Elasticsearch）的部署、监控、性能调优、容量规划与故障排除。
3. 数据仓库/湖仓：参与构建和维护企业级数据仓库或数据湖，确保合理的数据分层、数据模型与主题域，数据的一致性和可复用性。
5. 数据治理与安全：实施数据质量管理、元数据管理、数据血缘追踪，并制定和执行数据安全策略（权限控制、脱敏、审计等），确保符合合规要求。
6. 技术支持与协作：为业务部门提供稳定、高效的数据服务与技术支持，优化应用的数据访问模式。
必备技能与经验
1. 技术栈：
· 编程语言：精通至少一门高级语言（Java/Scala/Python 之一），具备良好的编码习惯和系统开发能力。
· 大数据技术：深入理解并有Spark（Core, SQL, Streaming）或 Flink 的运行经验。熟悉 Hadoop 生态（HDFS, YARN, Hive, HBase）或同类组件。
· 数据库技术：
· SQL 数据库：精通至少一种主流 RDBMS（如 MySQL 或 PostgreSQL），精通 SQL 优化、索引设计、事务与锁机制。
· NoSQL：熟悉至少一种 NoSQL 数据库（如 Redis（缓存/数据结构）、MongoDB（文档）、Elasticsearch（搜索））的使用场景和原理。
· 数据管道与调度：有使用 Airflow、DolphinScheduler、NiFi 等工具进行工作流编排的经验。
· 数据仓库：了解维度建模、星型/雪花模型。有使用 Hive、ClickHouse、StarRocks/Doris、Greenplum 等至少一种 OLAP 引擎的经验。
2. 系统能力：
· 熟悉 Linux 操作系统，掌握常用的命令和脚本编写（Shell/Python）。
· 了解容器化技术（Docker）和编排工具（Kubernetes）。
· 具备基本的网络和存储知识。
3. 经验要求：
· 计算机科学、信息技术或相关专业本科及以上学历。
· 3年以上大数据或数据库相关领域工作经验。
· 有从 0 到 1 参与搭建或主导重大数据平台/数据仓库项目经验者优先。
1. 熟悉云原生数据服务（AWS Redshift/EMR, Azure Synapse/HDInsight, 阿里云 MaxCompute/DataWorks 等）。
2. 有流式数据处理（Kafka, Pulsar, Spark Streaming, Flink）实时数仓项目经验。
3. 了解数据湖技术（Delta Lake, Iceberg, Hudi）及湖仓一体架构。
4. 有数据治理工具（Atlas, DataHub, Deequ）或数据安全实践经验。
5. 了解机器学习平台（MLflow）或支持过 MLOps 流程。
6. 具备优秀的文档编写、技术分享和团队协作能力。
个人素质
1. 强烈的责任心与主动性：对数据系统的稳定性和数据质量有极高的敏感度和责任感。
2. 优秀的问题解决能力：善于分析复杂问题，定位根本原因，并能提供系统性解决方案。
3. 学习与适应能力：对数据技术充满热情，能快速学习并应用新技术。
4. 沟通与团队合作：优秀的跨团队沟通能力，能够将技术语言转化为业务语言，推动项目落地。