岗位职责 架构设计与实施 参与大数据平台的整体架构设计,覆盖数据采集、存储、计算、分析及可视化全链路,确保系统高可用、高性能及可扩展性。 根据业务需求,选择阿里云(如MaxCompute、EMR、DataWorks)或 AWS(如Redshift、EMR、S3)等云平台技术,结合开源组件(如Hadoop、Spark、Flink、Kafka、HBase)实现技术方案。 设计分布式系统架构,整合实时计算引擎、时序数据库等技术组件,支持多行业场景 技术选型与优化 评估并引入前沿技术(如AI大模型、云原生技术),优化数据处理效率和资源利用率。 负责大数据平台的性能调优、故障诊断及安全策略制定,确保数据