岗位描述
作为数据平台核心成员，主导自动驾驶「车队 → 采集 → 标注 → 数据集 → 模型评测」端到端数据平台的架构设计与技术演进，构建 PB 级、高可用、可扩展的数据查询、存储、处理与挖掘体系，并带领团队攻坚关键技术难题。
岗位职责
- 架构主导：负责数据平台整体架构设计与技术选型，主导统一数据访问层建设，对接 Trino（分布式 SQL）、Lance（列存 + 向量检索）、LevelDB（KV）等多引擎；
- 管道建设：规划并落地海量车端数据采集、清洗、入仓的全链路管道（Rosbag 解析抽取、MongoDB/MySQL 同步、COS 对象存储流转），保障 TB/PB 级数据稳定流转；
- 调度平台：设计 Celery + Redis 多队列异步调度平台，定义任务编排、重试、限流、监控规范，支撑数据处理、质量视频生成、评测批次等大规模长耗时任务；
- 性能攻坚：主导 Trino 查询优化（谓词下推、列裁剪、查询计划分析）与慢查询治理，制定查询性能与成本治理体系；
- 数据挖掘：基于 Lance 向量检索（KNN）构建相似场景召回能力，推动数据挖掘与高价值数据筛选体系建设；
- 安全合规：建立数据安全合规规范——SQL 注入防御、语句白名单、列级脱敏、写操作审计、分级授权（L1 只读 / L2 授权写 / L3 后端专属）、QPS 限流；
- 技术影响力：制定团队技术规范与最佳实践，进行代码评审、技术分享与人才培养，推动跨团队协作（采集 / 标注 / 评测）。