该职位已失效,看看其他机会吧

大数据运维工程师-上海-外包

1.5-1.8万
  • 上海虹口区
  • 3-5年
  • 本科
  • 全职
  • 招1人

雇员点评标签

  • 同事很nice
  • 工作环境好
  • 团队执行强

职位描述

ETLSqlHadoop
岗位职责:
1. 集群管理:负责Hadoop集群的搭建、配置、维护和优化(数据规模PB级以上),确保大数据组件的高可用性和稳定性。
2. 性能调优:监控集群性能,进行必要的调整以提高数据处理效率和资源利用率。
3. 故障排查:快速响应系统故障,定位问题原因,实施有效的解决方案。
4. 安全管理:建立和完善安全机制,保护数据安全,防止未授权访问。
5. 技术选型:根据业务需求选择合适的Hadoop生态组件和k8s技术栈。
6. 项目支持:为业务团队提供技术支持,参与需求分析,协助设计数据处理流程。
7. 文档编写:撰写技术文档,如操作手册、故障排除指南等,以便团队成员共享知识。
任职要求:
1. 教育背景:计算机科学或相关领域的学士/硕士学位
2. 经验要求:3年以上Hadoop生态组件、Linux操作系统、k8s生态运维经验;具有Python、Java或Scala等至少一种编程语言的经验
3. 技术技能:深入理解Hadoop架构及其核心组件(如Kerberos、LDAP、HDFS、YARN、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);熟悉k8s生态圈其他工具(如harbor、helm、apisix、prometheus、grafana等)
4. 软技能:良好的沟通能力和团队合作精神,能够独立解决问题,对新技术保持好奇心和学习态度
5. 加分项:熟悉Ambari及Mpack开发,ansible实践过百台机器规模;熟悉AI Infra相关技术栈,包括但不限于Milvus、CUDA、GPU;具有信创实践经验
查看全部

工作地点

上海虹口区华虹大厦华虹国际大厦

职位发布者

郭倩/招聘

三日内活跃
立即沟通
公司Logo北京银丰新融科技开发有限公司
北京银丰新融科技开发有限公司【简称“银丰科技”】注册成立于2000年,是以金融风险管理相关软件产品研发以及系统集成实施服务为主的国家认定的高科技和双软认证企业,公司隶属于柯莱特集团。柯莱特集团及银丰科技公司有着雄厚的技术力量,目前在金融领域的员工在2000人以上;作为柯莱特集团下属子公司之一的北京银丰新融科技开发有限公司,是一家专业从事金融风险管理类软件产品及相关系统解决方案的IT供应商。银丰科技自2000年成立以来,一直致力于向国内外金融机构提供风险管理相关的软件产品以及全面解决方案的业务咨询、技术研发、系统集成以及项目实施等服务;目前公司业务涉及从事银行、保险、证劵、担保公司等金融服务企业的风险审计系统、运营风险监控系统、操作风险管理系统、流动性风险管理系统、反洗钱监管报送系统、合规报表监管报送系统、压力测试系统、客户信用评级系统、企业/个人汽车贷款管理系统、金融办公自动化系统等相关的应用软件产品及其解决方案。银丰科技公司在金融行业的客户遍布了国家政策性银行、股份制商业银行、城市商业银行、农村商业银行以及农村信用社等各类银行机构。公司遵循“以客户为中心”的理念,为客户提供满意的产品和服务。在迅速扩展的过程中,公司保持踏实、稳重的一贯风格,以求实、创新的作风带动企业整体风貌的提高,并体现在开发、宣传、销售、服务当中,在用户与合作伙伴心中建立了良好的企业形象。公司与国内外著名的公司建立了良好的战略解决方案及服务合作关系,包括:毕博、埃森哲、凯捷、花旗、联想、微软、IBM、惠普(HP)、SUN、SAP、Oracle、BEA、Sagent、EDS、CSC、AtosOrigin等。
公司主页