דרוש /ה data engineer

דרוש/ה data engineerמיקום - ירושליםתיאור התפקיד:אנו מחפשים data Engineer מנוסה להצטרף ליחידת data AI, ולהיות פונקציה מרכזית בהקמת data Lake ארגוני רחב היקף מקצה לקצה בסביבת On-Premise.התפקיד מתמקד בתכנון, פיתוח, ותחזוקת תשתיות נתונים סקיילביליות המבוססות על תשתית Cloudera.זוהי הזדמנות לקחת חלק בצוות המתווה את ארכיטקטורת הנתונים בארגון, לבנות תהליכי קליטה ועיבוד (Pipelines) של נתונים בנפחים גבוהים בסביבה מבוזרת, ולהניח את התשתית הטכנולוגית הנדרשת עבור יכולות אנליטיקה מתקדמות ופיתוח מודלי בינה מלאכותית.דרישות: לפחות 4 שנות ניסיון מעשי כ data Engineer או בתפקיד פיתוח Big Data ניסיון מוכח בכלי פיתוח מ Apache Echo system לרבות כלי ליבה כגון: Spark, Hive, Impalaשליטה ברמה גבוהה מאוד בפיתוח וכתיבת קוד לבניית תהליכי נתונים ( ETL /ELT) באחת מהשפות הבאות: Python, Scala, JAVA מומחיות בכתיבת שאילתות SQL אנליטיות מורכבות ואופטימיזציית ביצועים בסביבות נתונים מבוזרות.הבנה מעמיקה בארכיטקטורות נתונים מבוזרות (Distributed Systems) ומידול נתונים.ניסיון עם כלי אורקסטרציה וניהול תהליכי עבודה כמו Apache Airflowהיכרות וניסיון מעשי עם תהליכי עיבוד נתונים בזרימה (Streaming processing) מבוססי Apache Kafkaניסיון בהכנת תשתיות נתונים לפרויקטים בתחום ה ML/AI המשרה מיועדת לנשים ולגברים כאחד.