GCP/Spark and BigQuery Data Engineer

Description We are building cutting-edge data solutions that introduce next level automations and aim for low-code/no-code data platforms that allows our customers to deliver fast while hiding all the engineering complexities behind. If you are not afraid of any engineering task, likes to build cool stuff and enjoy when customers use your craft – you belong with us. Requirements Proven experience with Big Data projects and in depth knowledge with GCP BigQuery. Certifications are desired Experience building cloud-scalable, real-time and high-performance Data Solutions of 3+ years. Programming Skills with Spark, Python. Solid engineering foundations (good coding practices, good architectural design skills). Proven experience with building data pipelines, preferably with Airflow/Composer, Dataform/DBT, Spark, Dataplex Solid cloud development experience in GCP (and/or others). Certifications are desired Advanced SQL knowledge and capabilities Big Advantage – Experience with Databricks Experience or knowledge in AI/GenAI/ML/MLOps/LLM - advantage Team player, positive, likes to dream big and fulfill dreams all at the same time Description Hebrew תפקיד ה‑DataOps מתמקד בהקמה, תפעול ותחזוקה של תשתיות הדאטה הארגוניות, המשמשות תהליכי BI, אנליטיקה, API ופתרונות AI. בעל/ת התפקיד אחראי/ת על זמינות, יציבות ואמינות התשתיות, על סביבת הענן (Azure), ועל הכלים והפלטפורמות שעל גביהם פועלים תהליכי דאטה שפותחו על‑ידי גורמים פנימיים וחיצוניים. הדגש בתפקיד הוא על תשתית, תפעול והנגשת היכולת (Enablement)ולא על פיתוח לוגיקה עסקית או כתיבת תהליכי ETL, Streaming או API בפועל. תחומי אחריות הקמה, תפעול ותחזוקה של תשתיות דאטה ארגוניות בענן Microsoft Azure אחריות תשתיתית על סביבת Microsoft Fabric לשימוש צוותי BI,אנליסטים ו‑AI ניהול והפעלה של תשתיות תומכות לתהליכי ETL/ELT (סביבות עבודה, הרשאות, קיבולת, זמינות) תמיכה תשתיתית בפתרונות Data Streaming ו‑ Event‑Driven Architecture הקמה ותחזוקה של מנגנוני ניטור, לוגים, התראות ואירועים עבור תהליכי דאטה עבודה בצמוד לצוותי תשתיות ו-devops לטובת חשיפת נתונים באמצעות API: API Gateway, ניהול גישות והרשאות ביצועים, זמינות ושרידות תיעוד, גרסאות ומדיניות שימוש תמיכה תשתיתית ב‑GraphQL: תצורה, אבטחה והרשאות ניטור עומסים ושימוש זמינות והמשכיות שירות הבטחת איכות שירות (SLA), זמינות ואמינות של שירותי דאטה ו‑API עבודה שוטפת מול אנליסטים, צוותי פיתוח, ספקים חיצוניים וגורמי אבטחת מידע יישום ותחזוקה של הרשאות, אבטחת מידע ורגולציה,בהתאם למדיניות ארגונית תיעוד תשתיות, סטנדרטים ונוהלי עבודה Requirements Hebrew דרישות תפקיד - DataOps תיאור התפקיד תפקיד ה‑DataOps מתמקד בהקמה, תפעול ותחזוקה של תשתיות הדאטה הארגוניות, המשמשות תהליכי BI, אנליטיקה, API ופתרונות AI. בעל/ת התפקיד אחראי/ת על זמינות, יציבות ואמינות התשתיות, על סביבת הענן (Azure), ועל הכלים והפלטפורמות שעל גביהם פועלים תהליכי דאטה שפותחו על‑ידי גורמים פנימיים וחיצוניים. הדגש בתפקיד הוא על תשתית, תפעול והנגשת היכולת (Enablement)ולא על פיתוח לוגיקה עסקית או כתיבת תהליכי ETL, Streaming או API בפועל. תחומי אחריות הקמה, תפעול ותחזוקה של תשתיות דאטה ארגוניות בענן Microsoft Azure אחריות תשתיתית על סביבת Microsoft Fabric לשימוש צוותי BI,אנליסטים ו‑AI ניהול והפעלה של תשתיות תומכות לתהליכי ETL/ELT (סביבות עבודה, הרשאות, קיבולת, זמינות) תמיכה תשתיתית בפתרונות Data Streaming ו‑ Event‑Driven Architecture הקמה ותחזוקה של מנגנוני ניטור, לוגים, התראות ואירועים עבור תהליכי דאטה עבודה בצמוד לצוותי תשתיות ו-devops לטובת חשיפת נתונים באמצעות API: API Gateway, ניהול גישות והרשאות ביצועים, זמינות ושרידות תיעוד, גרסאות ומדיניות שימוש תמיכה תשתיתית ב‑GraphQL: תצורה, אבטחה והרשאות ניטור עומסים ושימוש זמינות והמשכיות שירות הבטחת איכות שירות (SLA), זמינות ואמינות של שירותי דאטה ו‑API עבודה שוטפת מול אנליסטים, צוותי פיתוח, ספקים חיצוניים וגורמי אבטחת מידע יישום ותחזוקה של הרשאות, אבטחת מידע ורגולציה,בהתאם למדיניות ארגונית תיעוד תשתיות, סטנדרטים ונוהלי עבודה דרישות סף (חובה) ניסיון מקצועי של3 שנים לפחות בתפקידי DataOps/תשתיות דאטה / Data Engineering ניסיון מוכח בעבודה עם תשתיות ענן Azure ניסיון תפעולי עם אחד או יותר מהכלים: Azure Data Factory / Fabric Pipelines Azure Data Lake Storage Azure Synapse או Fabric Warehouse ניסיון בתמיכה תשתיתית בתהליכי ETL/ELT היכרות עם תשתיות Data Streaming / Events (כגון Event Hub או מקבילים) ניסיון תשתיתי בעבודה עםAPI (REST) היכרות עם עקרונות GraphQL ברמת תפעול, זמינות ואבטחה שליטה גבוהה ב‑SQL ניסיון בעבודה עם ניטור, לוגים וניהול תקלות רקע בפיתוח תוכנה והבנה של תהליכי פיתוח. יכולת קריאה, הבנה וניתוח קוד לצורכי תחקור, תמיכה ותפעול. יכולת עבודה בסביבה ארגונית מרובת נהלים וממשקים יתרון ניסיון מעשי עם Microsoft Fabric ניסיון בתמיכה תשתיתית בכלי BI (Power BI) ניסיון בעבודה עם API Management (Azure APIM) או כלים דומים היכרות עם נושאי Data Governance,Data Catalog , הרשאות ו‑Data Security ניסיון בעבודה בארגון ציבורי או בסביבה רגולטורית היכרות עם עקרונות CI/CD בהקשר תשתיתי‑תפעולי היכרות עם Python / .NET/ C# ניסיון בפיתוח או תחזוקה של שירותים, סקריפטים או כלי תפעול תשתיתיים כישורים אישיים גישה שירותית ויכולת מתן תמיכה מקצועית לצוותים עבודה מסודרת, שיטתית ומבוססת תיעוד יכולת פתרון תקלות מורכבות לאורך זמן אחריות אישית גבוהה ויכולת עבודה עצמאית תקשורת בין‑אישית טובה ועבודה בצוות רב‑מקצועי