更新于 今天

时序载荷大数据分析平台(端-云-智能全栈)

1-2万
  • 上海杨浦区
  • 5-10年
  • 学历不限
  • 兼职/临时
  • 招1人

职位描述

PythonSparkFlink大数据开发物联网云计算/大数据人工智能
时序载荷大数据分析平台(端-云-智能全栈)招聘
架构设计/程序开发/实习生
一、背景介绍
这是一个时序载荷大数据分析平台,已有近百TB历史数据,每天新增大量实时数据。我们需要构建一套混合架构,既能高效处理日常增量数据,又能对海量历史数据进行批量分析。同时,平台引入基于大语言模型的智能分析Agent,能够通过自然语言对话快速查询数据、开展特定分析、获取分析结果。
我们正在组织一支技术团队,完成平台的架构设计、模块开发、测试运行与迭代更新,欢迎不同阶段的技术人才通过全职/兼职/实习等方式加入。
核心技术领域
1)云端基础服务与大数据处理
基于FastAPI构建RESTful API,对接MQTT Broker(EMQX)
设计DBC动态解析引擎,将CAN数据转为时序数据
使用时序数据库(TDengine/InfluxDB)与关系数据库(PostgreSQL)优化存储
规划对象存储(MinIO/S3)实现百TB级历史数据归档
设计混合计算架构(单机/队列处理增量,Spark/Dask批处理历史),实现冷热数据分层
开发批量分析任务(统计、时域、频域等)及预计算结果存储
构建基础监控与告警功能(设备在线、数据质量、通道丢帧等)及定时报表生成
2)智能分析Agent后端架构
封装平台能力为标准工具函数(查询实时趋势、历史分析、异常事件、统计结果、对比分析等),供大模型通过Function Calling调用
对接主流大模型API(OpenAI、智谱、千问、DeepSeek等),设计统一工具调用和数据路由逻辑
实现冷热数据路由策略(热数据直查时序库,冷数据从预计算结果/对象存储快速获取)
优化Prompt Engineering以提升意图识别准确率,支持多轮对话上下文维护和权限控制
确保Agent返回结构化数据,便于前端图表渲染和自然语言呈现
3)前端架构与集成
指导前端技术选型(Vue.js 3.x / React 18.x),设计前后端交互规范(API设计、数据格式、鉴权方式)
把控前端可视化效果(总览大屏、个体详情分析、图表展示等),确保数据呈现准确、用户体验良好
负责前端与智能Agent对话界面的集成方案,确保对话交互流畅自然
二、我们在找谁
(1)架构设计师(1人)
您将与我共同确定整体技术框架,制定可执行方案,并指导团队落地。
核心职责
参与需求讨论,将业务逻辑转化为清晰、可扩展的技术架构方案,涵盖数据接入、存储、计算、分析、可视化、智能Agent全链路。
负责技术选型,评估并决策核心技术组件(时序数据库、分布式计算框架、消息队列、对象存储、大模型接入等),输出技术决策文档。
将复杂系统分解为可独立开发的功能模块,制定开发计划、接口规范和技术标准。
亲自主导关键模块(如DBC动态解析引擎、分布式批处理框架、Agent工具封装、冷热数据路由)的代码实现,确保技术路线落地。
指导开发工程师和实习生完成具体开发,进行代码审查,把控交付质量。
负责各模块的集成联调,解决集成中的技术难题,确保整体平台稳定运行。
基本需求
5年以上Python开发经验,主导过至少两个大型项目的架构设计,熟练使用FastAPI或类似框架构建高性能后端。
丰富的分布式系统设计经验,熟悉微服务、数据湖/数据仓库等架构模式,有TB级以上数据处理项目的实战经验。
深度掌握时序数据库(TDengine/InfluxDB)和关系数据库(PostgreSQL)的设计与优化,能针对海量数据场景制定存储策略。
熟悉分布式计算框架(Spark/Flink/Dask),能设计批流一体的数据处理流程,并编写高效的分析任务。
有大模型API调用经验,深入理解Function Calling机制,能设计高效的Prompt和工具调用流程。
熟悉主流前端框架(Vue.js/React)及可视化库(ECharts),能指导前端开发。
具备优秀的技术指导能力,能分解任务、把控质量,善于沟通协作。
加分项
有工业物联网、车辆数据分析、CAN总线/DBC相关经验。
有将历史数据从单机迁移到分布式集群的迁移经验。
有数据湖/数据仓库设计经验,熟悉数据治理流程。
熟悉LangChain等大模型应用框架,有对话系统开发经验。
能提供大型数据平台项目的架构设计文档或案例。
有开源项目贡献或技术博客者优先。
(2)开发工程师(1人)
您将在架构设计师的指导下,独立负责具体模块的开发与交付。
核心职责
根据架构设计方案,负责云端API开发、数据库优化、批处理任务实现(如DBC解析引擎、数据入库、分析任务调度等)。
或负责前端界面开发(Vue/React + ECharts),实现车队总览、单车详情、数据监控等可视化页面。
或负责边缘计算模块开发(ARM/Linux + Python + CAN),实现实时数据清洗、统计分析、事件检测、断点续传、OTA升级等功能(如投此方向)。
按照接口规范完成模块开发,参与代码审查和集成联调。
编写单元测试、接口文档和技术说明,确保代码质量和可维护性。
基本需求
2年以上Python开发经验,熟练使用FastAPI或类似框架,有实际项目落地经验。
熟悉至少一种数据库(时序数据库/关系数据库),能独立完成查询优化。
有良好的编码习惯和沟通能力,注重代码质量和可维护性。
(如投边缘方向)熟悉ARM/Linux嵌入式开发、CAN协议、多线程/异步编程,有资源受限环境优化经验。
(如投前端方向)熟悉Vue.js或React,有ECharts等图表库使用经验。
加分项
有MQTT/EMQX使用经验。
有分布式计算(Spark/Dask)任务开发经验。
有大模型API调用或Function Calling了解。
能提供GitHub链接或项目代码示例。
(边缘方向)有OTA升级实现经验或工业设备开发经验。
(前端方向)有仪表盘或大屏可视化项目经验。
(3)实习生(1人)
您将在架构设计师和开发工程师的指导下,参与实际项目开发,快速成长。
核心职责
协助完成API接口开发、数据库查询优化。
参与前端页面开发或图表可视化实现。
编写单元测试、接口文档,参与联调测试。
在指导下完成指定功能模块的开发,积累大数据/AI/物联网实战经验。
基本需求
计算机相关专业本科/硕士在读,能保证每周3天以上工作时间。
熟悉Python基础,了解至少一种Web框架(FastAPI/Django/Flask)。
对数据库、前端或物联网有基本了解。
学习能力强,乐于接受指导,有良好的沟通习惯。
加分项
有实际项目经验(课程设计/实习/开源贡献)。
有GitHub或技术博客。
了解时序数据库或大数据相关技术。
有前端基础(Vue/React/ECharts)或物联网基础(MQTT/CAN)者优先。
我们提供
与资深架构设计师共事的机会,快速积累大数据/AI/物联网实战经验。
弹性工作制,远程/现场均可。
有竞争力的薪酬(架构设计师/开发工程师面议,实习生提供实习补贴)。
长期合作机会,表现优异者可转正。
如何申请
请发送简历至 *****************,邮件标题注明 应聘-层级-姓名(如"应聘-架构设计师-张三")。
如有代码作品、GitHub链接、技术博客或项目案例,欢迎一并附上,这将帮助我们更快了解您。

工作地点

上海市-杨浦区-军工路1076号三层

职位发布者

赵先生/技术总监

当前在线
立即沟通