职位描述
Python数据治理SparkHadoop
岗位职责:
1、核心职责聚焦于构建可靠、高效、安全合规的AI数据基础设施;
2、负责AI模型训练推理数据的全流程管理以及数据版本控制及质量评估;
3、设计实现高吞吐、低延迟的数据提取、转换和加载(ETL)流程,以支持模型训练和评估;使用工具或开发自动化工具/脚本(如Python)处理大规模数据,包括多源数据采集、噪声过滤、去重、缺值补充、存储、访问和加载等;
4、设计数据存储架构,包括数据库选型(关系/非关系型、向量数据库/时序数据库)、数据表、存储过程、访问控制、性能优化、冗余备份等;
5、按需实施隐私计算(联邦学习/差分隐私)及脱敏策略,确保训练数据符合GDPR/《个保法》要求;
6、按需构建数据质量监控平台,定义并自动化校验数据完整性、一致性及分布偏移指标(如PSI)。
任职要求:
1、计算机/统计学相关专业,2年以上数据工程经验;
2、精通Python/SQL,熟练使用 PySpark/Pandas 进行大规模数据处理;
3、具有编写自动化工具、脚本或使用分布式计算工具/ETL工具(如Hadoop、Spark、Talend等)进行数据ETL的能力与实际工程经验;
4、具有设计数据存储架构的能力与实际工程经验;
5、熟悉电力、气象、光伏等领域和设备的数据处理、治理经验者优先;
6、熟悉GDPR/《个人信息保护法》/隐私计算/脱敏策略者优先。
登录查看完整内容
工作地点
成都*****************

工作地点

公司信息
公司介绍
四川航电微能源有限公司(简称:航微能源),是全球一流的智慧能源系统科技企业。航微能源以技术为导向,以创新为驱动;以电力电子技术为基础、能源数字化技术为核心,集自主研发、制造、销售、服务于一体,为源端、网端、终端电力等全链条行业客户提供全系列储能系统产品,及储能系统一站式整体解决方案。 航微能源是国家级高新技术企业、国家专精特新“小巨人”企业、四川省“瞪羚企业”、成都市新经济示范企业、成都市新经济双百企业、成都市“五一劳动奖状”企业。并先后荣膺“四川省重大技术装备首台(套)产品、“四川省电力电子科技成果一等奖、三等奖;创新人才一等奖”、“SNEC2024储能应用卓越奖”、“2024中国储能系统企业20强”、“中国储能产业最佳PCS供应商奖”等荣誉。 公司业务遍布全球,涵盖电力、交通、工商业、户用等多个领域。在全球绿色能源变革的背景下,航微能源以“发现并创造一切绿色能源应用场景”为使命,致力成为推动各行业零碳转型的重要力量,携手全球伙伴共同构建绿色智慧能源新时代。
工商信息
企业名称 四川航电微能源有限公司
企业类型 其他有限责任公司
法人代表 郑尧
经营状态 在营(开业)
成立时间 2014-11-17
注册资本 4068.9655万元
认证资质
营业执照信息
相似职位
天府通-数据开发工程师(金融)


本科
3-5年
ETL
数据库开发
Java
Sql
Python
Spark
Flink
Hadoop
五险一金
朝九晚六
周末双休
节假日正常休
大数据开发工程师(J23536)
1.2-2万·14薪 神州数码(中国)有限公司
本科
3-5年
数据建模
数据仓库
ETL
Sql
Java
Python
Hadoop
Spark
Kafka
数仓建模
ETL开发
DataBricks数据开发工程师

本科
3-5年
ETL
数据仓库
Sql
Python
Spark
DATABRICKS
PowerBI
成都数据开发

本科
5-10年
数据仓库
数据建模
数据治理
Sql
Hadoop
Spark
Flink
离线/实时数据开发
数据质量监控
金融行业数据开发经验
国企-高级数据开发(五险一金)


本科
5-10年
数据治理
数据中台开发
Java
Hadoop
Spark
Flink
Scala
Python
ICEBERG
STARROCKS
DORIS
五险一金
大数据工程师
1.2-1.5万·13薪 四川封面传媒有限责任公司
本科
1-3年
HDFS
Yarn
Hive
数据治理
数据建模
数据中台开发
Java
Python
Shell
Hadoop
Flink
Spark
数据工程师(知识图谱方向)
8000-15000元 中宇智垣(四川)智能科技有限公司
本科
3-5年
数据治理
数据架构
数据中台开发
Sql
Java
Python
五险一金
绩效奖金
年终奖励
带薪年假
团队年轻化
最新招聘
热门城市
热门职位
热门公司
培训学校招聘兼职外教
标山路人才网招聘信息
服饰外贸业务员
烟台杰瑞石油天然气公司招聘信息
潜江接待招聘信息
邢台工具电商公司招聘
上海长宁电商营销设计招聘
张家口外贸业务招聘信息
三星中国研究院招聘信息
东昌府电子商务公司招聘
舒城县城关镇邓松林茶厂
博罗县汇丰大包店第三分店
开州区我想吃纸包鱼餐馆
红安县为民百货零售店(个体工商户)
中国工商银行股份有限公司宜良阳宗海支行
许昌铭沣装饰装修有限公司
赵县兴康苗林林木育苗场
武汉信永合机械设备有限公司
义乌市缀梦贸易有限公司
上海童玉华网络科技中心
伊犁招聘
马鞍山招聘
丽江招聘
成都招聘
烟台招聘
舟山招聘
昌都招聘
吐鲁番招聘
文山招聘
揭阳招聘
沧州招聘
娄底招聘
怒江招聘
普洱招聘
周口招聘
岳阳招聘
蚌埠招聘
白沙招聘
宜宾招聘
大庆招聘





