大数据开发工程师

岗位职责 设计并实现大规模数据处理系统，确保数据的高效存储和快速访问。 构建和优化ETL流程，以满足不同业务线的数据需求。 主导数据平台的架构设计和技术选型，提升系统的稳定性和扩展性。 开发和维护实时数据处理框架，支持实时分析和决策。 推动跨团队的数据共享和协作，提升数据的业务价值。 通过数据监控和分析，优化系统性能，提升数据处理效率。 沉淀数据开发实践，提升团队整体技术水平。 制定并执行数据安全和合规策略，确保数据的合法合规使用。 任职要求 本科及以上学历，计算机科学、软件工程或相关专业。 5年以上大数据开发经验，熟悉Hadoop、Spark、Flink等大数据技术。 精通Java、Scala或Python编程语言，并具备扎实的算法和数据结构基础。 熟悉数据仓库设计和数据建模方法，具备复杂SQL优化能力。 具备大规模分布式系统的设计和实现经验，能解决高并发和高可用性问题。 曾在复杂业务场景下成功推动数据驱动的业务决策。 有处理TB级别数据的经验，能够识别和解决潜在的性能瓶颈。 拥有数据安全和隐私保护的实施经验，具备相关认证优先。 具备开源大数据项目的贡献经验者优先考虑。