data Engineer

קבוצת יעל מגייסת data Engineer לארגון מוביל בירושליםתיאור התפקיד:

• השתלבות ביחידת data AI בתפקיד מרכזי בהקמת data Lake ארגוני רחב היקף מקצה לקצה בסביבת On-Premise- תכנון, פיתוח ותחזוקה של תשתיות נתונים סקיילביליות המבוססות על פלטפורמת Cloudera- עבודה על ארכיטקטורת נתונים ארגונית והקמת תהליכי קליטה, עיבוד והזרמת נתונים ( data Pipelines) בנפחים גבוהים בסביבה מבוזרת- פיתוח ותחזוקה של תהליכי עיבוד נתונים לצורך תמיכה ביכולות אנליטיקה מתקדמות ובפיתוח מודלי AI- עבודה בסביבה טכנולוגית מתקדמת המשלבת Big Data, data Engineering ובינה מלאכותית- שיתוף פעולה עם צוותי data, אנליטיקה ופיתוח לצורך בניית תשתיות נתונים ארגוניות- המשרה במודל היברידידרישות: השכלה רלווטית בתחוםלפחות 3 שנות ניסיון מעשי כData Engineer או בתפקיד פיתוח Big Data ניסיון מוכח בעבודה עם כלי Apache Ecosystem, כולל כלי ליבה כגון Spark, Hive וImpalaשליטה גבוהה מאוד בפיתוח וכתיבת קוד לבניית תהליכי נתונים ( ETL /ELT) באחת מהשפות: Python, Scala או JAVA מומחיות בכתיבת שאילתות SQL אנליטיות מורכבות וביצוע אופטימיזציה לשיפור ביצועים בסביבות נתונים מבוזרותהבנה מעמיקה בארכיטקטורות נתונים מבוזרות (Distributed Systems) ובמידול נתוניםניסיון בעבודה עם כלי אורקסטרציה וניהול תהליכי עבודה כגון Apache Airflow- יתרוןהיכרות וניסיון מעשי בתהליכי עיבוד נתונים בזרימה (Streaming Processing) המבוססים על Apache Kafka -יתרוןניסיון בהכנת תשתיות נתונים עבור פרויקטים בתחום Machine Learning וAI -יתרוןניסיון בעבודה בסביבת Hybrid והיכרות עם שירותי פלטפורמת הענן GCP - יתרוןנכונות וזמינות לתמיכה במערכות קריטיות בעת הצורך, כולל עבודה בשעות לא שגרתיות ובסופי שבוע המשרה מיועדת לנשים ולגברים כאחד.