岗位职责
1、负责公司级数据平台的建设与维护,构建稳定、高效、可扩展的数据采集、存储、处理和分发体系;
2、开展多源数据的接入与整合工作,涵盖内部交易、风控、客户、运营等结构化与非结构化数据,确保数据的完整性、一致性和时效性;
3、设计并开发ETL流程,实现数据的清洗、转换与加载,支持数据仓库(DW)和数据湖(Data Lake)的持续更新;
4、编写高质量的SQL及脚本程序(Python/Java/Scala),实现复杂数据逻辑处理,支持业务系统的数据供给;
5、负责数据管道的监控、调度与优化,保障任务稳定运行,及时排查数据延迟、异常等问题;
6、提供高效的数据接口与中间层数据支持,推动数据在业务场景中的深度应用;参与数据治理工作,协助制定数据标准、元数据管理、数据血缘追踪和数据质量管理机制,提升数据资产的规范性与可信度;
7、关注大数据技术发展趋势,探索实时计算、流式处理、湖仓一体(Lakehouse)、数据目录、大模型数据应用等新技术在金融场景中的落地应用;
8、根据监管要求,配合完成数据报送、数据安全脱敏、日志审计等相关技术工作,确保系统符合合规性要求。
9、领导交办的其他工作。