技术与转型 - 客户业务 - 数据架构师（直播间专属）

职位概述： 我们正在寻找一位精通AWS云平台和Databricks的数据工程专家。您将作为顾问，直接参与关键客户项目，负责设计、构建并优化大规模数据平台与管道。本职位不仅要求深厚的技术功底，更需要出色的沟通与解决问题能力，以将复杂的业务需求转化为可靠、高效的技术解决方案。 主要职责： 1、方案设计与开发： 基于AWS生态系统，利用Databricks Lakehouse平台，为客户设计并实施可扩展的数据湖、数据仓库及实时/批处理数据管道； 2、数据处理与建模： 使用PySpark和Python进行大规模数据ETL/ELT开发，构建高效的数据模型，支持数据分析、机器学习与商业智能应用； 3、平台架构与优化： 评估并优化现有数据架构的性能与成本，确保其安全性、可靠性； 4、客户协作与交付： 深入理解客户业务需求，编写清晰的技术文档，向技术与非技术干系人阐述方案，并确保项目高质量交付； 5、技术前瞻： 跟踪AWS、Databricks及数据工程领域的最新技术动态，为团队和客户引入创新实践。 任职要求： 1、熟悉AWS DataSync数据同步工具使用，能够开发脚本实现复杂条件的数据同步； 2、熟练应用DBT工具，具备复杂逻辑数据转换； 3、熟悉Airflow工具，能够应用Python动态生成DAG实现作业调度； 4、熟悉AWS CDK工具使用； 5、熟悉Python/Scala大数据开发，良好的开发习惯，熟练使用GitHub进行代码版本控制； 6、熟悉Databricks企业级数据湖仓架构设计和搭建，熟悉Delta Lake组件部署、数据分区和版本控制。