Data Engineer-Enterprise Data Product

Завдання

• Підтримка, розробка та оптимізація глобального середовища datalake із забезпеченням високої якості даних, надійності та загальної продуктивності
• Проєктування та впровадження високопродуктивних процесів обробки даних і робочих процесів з використанням Python, Spark і Databricks
• Керування масштабовваними та ефективними рішеннями для інтеграції та обробки даних за допомогою Azure Data Factory, Databricks і Event Hub
• Створення надійних процесів управління даними та виконання розширених запитів і контролю якості даних за допомогою SQL і технологій великих даних
• Автоматизація операційних завдань та підтримка обслуговування інфраструктури за допомогою shell-скриптів та базових знань UNIX
• Підтримка ініціатив з моделювання даних для проєктування узгодженої структури та документування всіх технічних процесів для забезпечення безперервності роботи

Умови та пільги

Вимоги

• Міцна база та розуміння управління базами даних (загальні знання SQL, запити даних, контроль якості даних)
• Міцні знання програмування на Python (pandas, numpy)
• Просунутий рівень Big Data / фреймворків datalake (Spark, Databricks)
• Міцні хмарні знання та володіння Azure Data Factory, Databricks, Event Hub
• Базове знайомство з операційною системою UNIX, особливо зі створення shell-скриптів
• Базове розуміння проблем мережевого рівня та вимог до підключення
• Базове розуміння принципів моделювання даних
• Орієнтований на дані мислення
• Структуроване, аналітичне мислення
• Сильні комунікативні навички
• Добре організованість
• Можливість працювати у багатозмінному режимі (з понеділка по п'ятницю, 07:00 - 22:00) + чергування (у будні вночі, на вихідних та у святкові дні)