1、负责实时数据流(Kafka)与OLAP分析(StarRocks)的技术架构建设,支持AI模型训练与推理的高可用平台;
2、主导大数据组件和AI技术栈的选型与集成,实现AI组件(如大模型API、OCR/NLP服务等)与现有业务系统的可靠对接和性能优化;
3、解决大数据平台开发与集成过程中遇到的实时计算、模型部署、资源调度等关键技术难题,保障系统的稳定性和效率;
4、指导团队进行大数据、AI相关功能的开发,制定数据开发与AI模型管理的规范。
1、熟悉Prompt Engineering、RAG、Agent等主流应用框架的使用场景与集成方法,了解常见机器学习与深度学习任务的输入输出和应用边界;
2、具备将AI组件(如OCR、NLP、推荐算法)与现有业务系统中后台集成的实际经验;
3、精通Spring Cloud、Dubbo等微服务框架,以及Redis缓存、Sentinel/Hystrix熔断降级,掌握常用中间件(如Kafka、ZooKeeper),熟悉容器化技术(如Docker、Kubernetes)和DevOps流程,精通至少一门主流开发语言(如Java、C++、C#)及其生态框架(如Spring Boot、.NET Core);
4、精通数据库设计与优化,熟悉关系型数据库(如MySQL、Oracle),熟悉StarRocks或其他高性能OLAP数据库,能够设计并实现高效的实时数据管道以支持业务智能决策;
5、本科及以上学历,计算机相关专业,具备优秀的问题解决能力、团队协作精神