核心职责
1、系统架构与核心模块开发:
设计、开发和维护知识库问答系统的核心架构,包括但不限于:文档解析与索引、语义检索/向量检索引擎、意图识别、答案生成/抽取、对话管理等。
深入理解和优化系统各模块(如检索器、排序器、阅读器/生成器)的性能和效果。
负责关键模块(如高性能向量检索引擎集成、复杂推理流程)的设计与实现。
算法模型应用与优化:
深入应用并优化NLP模型于问答、检索、分类等任务应用。
精通Prompt Engineering、RAG(检索增强生成)架构的设计、实现与调优。
探索和应用前沿NLP/IR技术,结合传统知识库问答技术,持续提升问答效果。
掌握RAG动态分块策略、内容增强技术、混合检索技术(向量+关键字+知识图谱)、视觉增强技术、OCR技术、结果溯源技术等。
2、知识库构建与管理:
设计和实现高效、鲁棒的知识库构建、更新、版本管理和质量监控流程。
解决多模态文件(文本、PDF、Word、Excel、视频、音频、图片)的解析、清洗和结构化处理问题。
优化向量化索引的构建、更新策略和存储效率。
系统开发、性能优化与系统稳定性:
设计和实施高并发、低延迟、高可用的服务架构。
编写高质量、可维护、可测试的代码,遵循工程最佳实践。
诊断和解决系统性能瓶颈(响应延迟、吞吐量、资源消耗)。
3、技术领导与协作:
优秀的沟通能力,能清晰阐述技术方案和问题。
强烈的求知欲,能快速学习并掌握新技术(尤其是NLP/LLM领域);主导技术方案选型与评估,撰写技术设计文档。
指导初级和中级工程师,进行技术分享和知识传递;进行代码审查,提升团队整体代码质量和技术水平。
与产品经理、算法研究员、数据工程师等紧密协作,理解需求,推动项目落地。
必备要求
1、教育背景:
计算机科学、软件工程、人工智能、数学或相关领域的本科及以上学历。
2、工作经验:
熟悉知识图谱构建与应用,有多轮对话管理系统开发经验。
5年以上扎实的后端或全栈软件开发经验;3年以上专注于自然语言处理、信息检索、搜索系统或知识图谱相关领域的开发经验,其中至少1-2年深度参与过知识库问答系统或类似系统(如智能客服、企业搜索)的设计、开发和优化。
3、核心技术栈:
改成精通Java或Python;
精通关系型数据库(如 PostgreSQL)、精通至少一种向量数据库(如 Milvus)的应用与优化、精通图数据库(如Neo4j)。
深入理解并实践过语义检索/向量检索,熟悉传统关键词检索(BM25, TF-IDF)及其与语义检索的结合;
熟悉常用的大小模型工具链应用、深入理解并有实际构建和优化RAG系统的经验。