更新于 今天
职位描述
PythonSQLC语言数据清洗爬虫开发反爬虫分布式爬虫数据挖掘数据采集人工智能计算机软件
【岗位职责】
- 设计并开发分布式爬虫系统，高效采集海量图像数据（电商、社交、图库等来源）。
- 构建图像去重、清洗、标注与预处理流程，保障数据质量。
- 实现以图搜图核心逻辑：提取图像特征向量（CNN/Transformer等），接入向量数据库（Milvus/FAISS），完成相似度检索。
- 扎实的爬虫能力：精通Python/Scrapy/Playwright，有大规模图像爬取、反爬对抗实战经验。
- AI/视觉基础：熟悉图像特征提取（ResNet/CLIP/ViT），了解向量检索原理（ANN/IVF/HNSW）。
- 工程落地：熟练使用OpenCV/PIL处理图像，掌握至少一种向量数据库（Milvus/Qdrant/FAISS）。
- 加分项：有以图搜图系统完整开发经验；熟悉多模态模型（CLIP/BLIP）；了解分布式消息队列（Kafka/RabbitMQ）。
工作地点
青岛市南区国华大厦-B座
