大数据工程师（python）

该职位来源于猎聘 岗位职责： 1、数据收集和处理，负责设计、开发和优化大数据处理流程，包含ETL（Extract, Transform, Load）流程，对业务数据进行清洗、转换处理。 2、设计和构建企业数据仓库，负责数据仓库的日常维护和优化，保证数据的完整性、可用性、及时性。 3、数据结构化与标注，对业务部门整理的非结构化数据进行结构化处理；与数据科学家合作，提取关键信息，根据AI模型的需要对数据进行专业化处理和标注。 4、参与AI模型的训练和优化，与数据科学家和开发团队紧密合作，确保数据能够满足AI模型训练和应用开发的需求。 5、数据可视化，将AI模型的输出结果、预测数据等进行直观的可视化展示，如图表、仪表盘等。 任职要求: 工作经验： ◆ 3年以上数据工程或相关领域工作经验,有处理制造业数据或参与AI项目的经验者优先。 知识(K)与技能(S)： ◆ 熟练掌握python编程语言，能够使用Pandas、NumPy等库进行数据处理和分析； ◆ 精通SQL语言，熟练使用主流数据库软件（如Mysql,PostgreSQL,Oracle等）； ◆ 熟练掌握数据采集和清洗，熟悉ETL工具（如Talend、Informatica等）； ◆ 熟悉大数据处理框架（如Apache Spark、Hadoop,Greenplum等），能够处理大规模数据集; ◆ 熟悉数据可视化工具（如Tableau、Power BI等），能够将数据处理结果进行可视化展示。 职业素养(A)： ◆ 具备较强的逻辑思维和问题解决能力，能够独立分析和解决数据相关的问题； ◆ 具备良好的沟通能力，能够与业务部门、数据科学家和开发团队进行有效沟通； ◆ 具备团队合作精神，能够积极参与团队讨论和协作开发； ◆ 能够快速学习和适应新技术，能够根据项目需求不断优化数据处理流程。