ai应用工程师/核心技术研究员

岗位职责（RAG方向）：
知识检索与增强生成系统的设计与实现：构建基于RAG的对话系统或问答系统，将检索到的相关知识与生成模型相结合，提供高质量的响应。
检索模块优化：设计和实现高效的文档检索机制（如Dense Retrieval、BM25等），提升检索的准确性和速度。
生成模型集成：将生成模型（如GPT、T5）与检索结果结合，实现精准生成任务。
索引与存储系统开发：开发或优化大规模语料的索引构建与存储策略（如向量索引、分布式存储）。
数据处理与知识库构建：参与多模态数据（文本、图像等）的处理和清洗，构建高质量的知识库。
个性化与领域优化：根据特定业务场景定制检索和生成模块，提高系统的实用性。
系统性能优化与监控：优化检索与生成系统的响应速度和准确性，监控系统的运行性能。
新技术探索：跟踪RAG方向的最新研究进展，并将其转化为可落地的技术方案。
岗位要求（RAG方向）：
检索相关：
传统检索算法：熟悉TF-IDF、BM25等经典检索方法。
深度检索技术：掌握Dense Retrieval（如DPR）、Hybrid Retrieval等方法，熟悉FAISS、Milvus等向量检索工具。
嵌入生成：熟悉语义嵌入模型（如Sentence-BERT、OpenAI Embeddings）。
知识库构建：了解知识图谱构建技术和开源工具（如Neo4j、RDF等）。
生成模型相关：
生成模型基础：熟悉Transformer架构，掌握主流生成模型（如GPT-4、T5、LLaMA）。
RAG集成：掌握检索增强生成技术的核心流程和实现方法。
微调和适配：了解LoRA、Prompt Tuning等模型微调方法，能够实现领域适配。
数据处理与优化：
大规模数据管理：了解Elasticsearch或其他搜索引擎的使用与优化。
数据清洗与标注：精通Pandas、NumPy等工具，熟悉数据预处理流程。
多模态数据处理：具备处理文本、图像、音频等多模态数据的能力。
部署与性能优化：
在线系统优化：熟悉检索系统的高效部署与优化（如分布式检索、缓存策略）。
生成系统部署：掌握Hugging Face Transformers、FastAPI、Flask等用于模型服务化的框架。
向量检索优化：了解向量检索的分片、量化技术。
【此岗位为劳务派遣】