HPC & Scientific Data Pipeline Engineer

核心要求
1. 技术领域经验：
• 5年以上HPC（高性能计算）或基于AWS的大规模科学计算全职项目经验；
• 具备Nextflow等科学数据处理流水线构建经验，熟悉数据溯源、可复现性元数据/质控（QC）、产物管理。
2. 生产环境技能：
• 熟练使用AWS ParallelCluster和Slurm（包括任务阵列/依赖管理、cgroups、资源统计SlurmDBD）；
• 掌握Open OnDemand部署、应用打包及身份集成；
• 实战经验：AWS Batch/Lambda实现工作流自动化与事件驱动任务。
3. Python开发能力：
• 代码架构清晰，熟悉打包、测试（pytest）、性能分析；
• 异步/多进程编程、数据处理（NumPy/Pandas）、CLI/服务开发（如FastAPI/Flask）。
4. AWS优化：
• 实例选型（CPU/GPU机型、Spot实例）、任务装箱策略、FSx/Lustre存储优化、镜像构建与缓存调优；
• 核心服务：IAM、VPC、EC2/AMI、S3、ECR、EFS/FSx、CloudWatch/CloudTrail。
加分项
• IaC工具：Terraform管理AWS资源及模块化，Git流程与基础CI/CD；
• 容器化：Docker、Singularity/Apptainer；
• Linux底层：网络、文件系统、性能调优；
• 工作流引擎：与Batch/Slurm集成，缓存与检查点策略；
• 安全实践：最小权限IAM、KMS加密、密钥管理、审计追踪。