Data Engineer - EDLAP

Завдання

• Підтримка, розробка та оптимізація глобального середовища datalake із забезпеченням високої якості даних, надійності та загальної продуктивності
• Проєктування та впровадження високопродуктивних конвеєрів та робочих процесів обробки даних з використанням Python, Spark і Databricks
• Керування масштабовanними та ефективними рішеннями для інтеграції й обробки даних за допомогою Azure Data Factory, Databricks та Event Hub
• Створення надійних процесів управління даними та виконання розширених запитів і контролю якості даних за допомогою SQL і технологій big data
• Автоматизація операційних завдань та підтримка обслуговування інфраструктури за допомогою shell-скриптів та базових знань UNIX
• Підтримка ініціатив з моделювання даних для розробки когерентної структури та документування всіх технічних процесів для забезпечення безперервності роботи

Умови та пільги

Вимоги

• Глибоке розуміння та досвід управління даними в базах даних (загальні знання SQL, запити до даних, контроль якості даних)
• Впевнені знання програмування на Python (pandas, numpy)
• Просунутий рівень знань фреймворків Big Data / datalake (Spark, Databricks)
• Глибокі знання хмарних технологій та робота з Azure Data Factory, Databricks, Event Hub
• Базове знання операційної системи UNIX, особливо shell-скриптів
• Базове розуміння проблем на мережевому рівні та вимог до підключення
• Базове розуміння принципів моделювання даних
• Орієнтований на дані мислення
• Структуроване, аналітичне мислення
• Сильні комунікативні навички
• Добре організованість