更新于 4月1日

大数据开发工程师

1-1.5万
  • 西安雁塔区
  • 3-5年
  • 本科
  • 全职
  • 招1人

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 人际关系好
  • 团队执行强
  • 氛围活跃
  • 免费班车
  • 管理人性化
  • 准时发工资

职位描述

SparkFlink
1、熟悉主流大数据平台:如 Hadoop(包括 HDFS、YARN)、Spark、Flink 等。要了解它们的架构、原理和组件,能够熟练进行安装、配置和升级。例如,需要知道如何在集群环境中部署 Hadoop,以及如何根据业务需求调整 Hadoop 集群的参数。
掌握数据存储系统:包括 HBase、Cassandra 等分布式数据库。要理解它们的数据模型、存储机制和读写操作,能够进行性能优化。例如,对于 HBase,要能够优化其表结构设计以提高数据读写效率。
2、精通 Linux 系统:因为大数据平台大多运行在 Linux 环境下。需要熟练掌握 Linux 命令行操作,如文件系统管理、用户管理、进程管理等。例如,能够使用命令行工具查找和解决服务器上的高负载进程问题。
3、服务器硬件知识:了解服务器的硬件组成,如 CPU、内存、存储设备等。能够根据大数据系统的负载要求合理配置服务器资源,并且在出现硬件故障时能够进行初步的诊断和处理。
网络知识
4、自动化运维工具:熟练使用 Ansible、Puppet、SaltStack 等工具进行大数据平台的自动化部署和配置管理。例如,使用 Ansible 编写自动化脚本,实现一键部署大数据集群。
脚本语言能力:至少精通一种脚本语言,如 Python、Shell 等。能够编写脚本来实现系统监控、日志分析、故障自动恢复等功能。例如,使用 Python 编写脚本定期收集和分析大数据系统的性能指标。
5、有大数据平台运维经验:一般要求有 1 - 3 年以上大数据运维项目经验,参与过大型大数据平台的建设和维护工作。例如,曾经负责过一个电商企业的大数据分析平台的日常运维工作,包括数据采集、存储和分析系统的维护。
6、具备故障排查能力:能够快速定位和解决大数据系统在运行过程中出现的各种故障,如集群节点故障、数据丢失、服务异常等。例如,在遇到数据仓库查询性能急剧下降的情况时,能够通过分析查询计划、系统资源使用等方面找到原因并解决问题。

工作地点

西安雁塔区环普科技产业园-E座

职位发布者

刘宇洁/人事经理

三日内活跃
立即沟通
公司Logo软通动力信息技术(集团)股份有限公司公司标签
软通动力信息技术(集团)股份有限公司(以下简称“软通动力”)是中国领先的全栈智能化产品与服务提供商,2005年成立于北京,始终坚持创新,致力于成为一家具有全球影响力的科技企业。公司提供软件与数字技术服务、计算产品与智能电子、数字能源与智算服务以及国际化服务,员工90000人。目前,公司在10余个重要行业服务超过2600家国内外客户,其中超过230家客户为世界500强或中国500强企业。公司位列2024年中国 IT服务市场第一,入选2025年财富中国 500强企业,位列429。软通动力拥有软通咨询、软通金科、软通国际、软通工业互联、软通华方、机械革命、恒悦等业务子品牌,北京、江苏两大智能制造基地,布局北美、日韩、亚太、中东四大区域市场,在全球60余个城市构建完善的全球业务网络。公司锚定AI前沿,以人工智能工程能力为基础,科学智能(AI for Science)为引领,布局智能制造、ICT软硬基础能力和具身智能等领域,打造新产业链闭环,为客户提供场景智能(AIAgent)、终端智能(AI Terminal)、计算智能(AIInfra)的全栈智能服务。软通动力设立30个能力中心,拥有1个国家级工程实验室,6个省市政府认定的工程、技术实验室及研发中心,1个博士后科研工作站,依托全球软硬生态协同创新体系,不断探索前沿技术应用潜力。公司旗下教育品牌软通教育,拥有一家全日制本科学院——郑州西亚斯学院数字技术产业学院;全国合作院校700多所,设有70多个校企联合人才培养基地,通过校企合作、协同育人,为社会培养高素质应用型人才。软通动力先后荣获“2024新经济企业500强”、“2024年中国软件和信息技术服务竞争力百强企业”、“中国软件产业40年贡献企业”、“2024年信创领军企业”、“省级科技进步奖”,入选沪深300、中证A500、创业板50等核心指数,深交所信息披露最高“A”级评价,连续三年获得Wind ESG评级AA级等权威认可;拥有专利380+项、全球软件工程领域最高级别CMMI V2.0成熟度5级评估认证、信息系统建设和服务能力最高等级——杰出级(CS5)、信息技术服务标准(ITSS)运维能力成熟度一级认证等专业资质,支撑公司更优质的服务体系。
公司主页