岗位职责:
1.垂类大模型研发与优化
研发面向工业设计(电路图)、智能监考、教学辅助的多模态大模型,支持:
a 电路图理解与生成:解析PDF/CAD图纸,自动识别元件、拓扑关系,辅助生成标准化电路设计。
b 多模态行为分析:通过视频、语音、图像数据实时评估学员操作(如动作规范性、流程正确性)
c交互式教学:基于大模型知识库实现语音对话、错误诊断与实时指导。
2.复杂场景算法落地
a工业设计场景:构建A驱动的电路设计系统,实现从需求描述到图纸生成的端到端辅助。
b监考评分场景:开发自动评分模型,替代人工规则代码,支持动态视频抽帧、语音指令识别与多维度评分。
c教学辅助场景:设计实时纠错与交互系统,通过大模型调取知识库(如电路原理、操作规范)指导学员。
3.多模态技术融合
结合CV(目标检测、行为识别)、NLP(意图理解、知识检索)、语音(ASR/TTS)技术,实现:
图形一文本一语音:从电路图中提取知识并通过语音交互输出指导建议。
视频一决策:分析学员操作视频,自动触发错误提醒或评分反馈。
4.工程化与工具链建设
将大模型能力集成至现有平台(如EDA工具、监考机器人、教学大屏),优化高性能推理与边缘部署。
构建数据闭环,减少人工标注依赖(如利用大模型预标注电路图、教学视频)
任职要求:
1.技术能力
精通多模态大模型(如GPT-4V、LLaVA、Whisper)的训练与微调,有工业视觉、语音交互、动态视频分析落地经验。熟悉以下至少两个领域:
工业设计:电路图解析、CAD工具集成、故障诊断逻辑。
教育科技:行为识别、自动评分、知识图谱构建。
掌握分布式训练、模型压缩(如LoRA)、LLMOps等全流程技术。
2.业务理解
能快速理解跨领域需求(如电路设计规范、监考评分规则、教学SOP),设计可复用的AI解决方案。
3.工程能力
具备国产化适配经验(如昇腾芯片、华为MindSpore),熟悉边缘设备(机器人、嵌入式终端)部署。