data engineer

לבנק מוביל היושב בלוד דרוש/ה data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI. אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם data Scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים - גם בסביבות ענן וגם ב on premדרישות: דרישות חובה ניסיון של לפחות 3 שנים כ data engineer ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP) ניסיון של 3 שנים עם Python ניסיון מעשי עם Spark עבור Large scale data תואר במדעי המחשב. הנדסה.מתמטיקה או סטטיסטיקה דרישות המהוות יתרון ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes ניסיון של כלי data pipelines כמו airflow, Kubeflow הבנה של מושגים ותהליכים בתחום Machine Learning הכרות עם פתרונות GenAI / prompt engineering המשרה מיועדת לנשים ולגברים כאחד.