核心职责
智驾数据平台架构与开发
负责智驾大数据平台架构设计、开发和优化,支撑PB级数据存储与计算
构建高可靠、高性能的数据处理流水线,支持自动驾驶算法训练和验证
设计并实现智驾数据湖分层模型,将各种来源的数据抽象为标准化数据表
数据处理与计算
负责单表TB级别以上的大规模数据分布式计算和特征工程
开发和维护离线计算(Spark)和实时计算(Flink)任务
优化数据处理性能,降低计算成本,提升数据处理效率
数据体系建设
设计并搭建智驾领域特有的标签(tag)计算框架体系
建立数据质量监控和治理体系,确保数据准确性和一致性
实现数据血缘追踪、元数据管理和数据版本控制