תכנון, פיתוח, הטמעה ותחזוקה של תהליכי ETL/ELT מורכבים לאיסוף, טרנספורמציה וטעינה של נתונים ממקורות שונים (Databases, APIs, Files, Streaming) אל Data Lake (S3) ו-Data Warehouse.
אופטימיזציה של תהליכי Data Pipelines לשיפור ביצועים וסקיילביליות.
יישום Best Practices לטיפול בנתונים (Data Quality, Data Validation, Error Handling).
עבודה שוטפת עם Apache Spark באמצעות Databricks Notebooks
פיתוח וניהול Workflows ב-Databricks.
שימוש ב-Databricks SQL לניתוח נתונים ופיתוח שכבות סמנטיות.
הטמעת Data Governance וניהול הרשאות באמצעות Unity Catalog.
כתיבת שאילתות SQL מורכבות ומתקדמות
תכנון ופיתוח מודלי נתונים (Dimensional Modeling, Star/Snowflake Schemas) עבור Data Warehouses ו-Data Marts. יצירה ואופטימיזציה של Stored Procedures, Views, Functions ו- Materialized Views.
אחריות על הבטחת איכות, שלמות ועקביות הנתונים לאורך כל ה-Pipeline.
עבודה צמודה עם אנליסטים עסקיים, מדעני נתונים, מפתחי תוכנה וצוותי תפעול.
דרישות
ניסיון של שנתיים ומעלה בפיתוח BI/Data Engineering.
ניסיון מוכח ורחב עם Databricks (כולל Spark, Delta Lake, Notebooks, Jobs, Workflows, Databricks SQL, Unity Catalog).
שליטה עמוקה ומוכחת ב-SQL ויכולת כתיבת שאילתות מורכבות, אופטימיזציה ו-Performance Tuning.
ניסיון עשיר בפיתוח תהליכי ETL/ELT.
ניסיון במידול נתונים (Dimensional Modeling, Star/Snowflake Schemas).
שליטה מלאה ב-Python (לפיתוח Spark/PySpark) או Scala.
היכרות עם כלי CI/CD (Jenkins, GitLab CI, CodePipeline/CodeBuild) ו-Git.