Data Engineer- EDLAP

Завдання

• Підтримка, розробка та оптимізація глобального середовища сховища даних із забезпеченням високої якості, надійності та продуктивності даних
• Проєктування та впровадження високопродуктивних процесів обробки даних та робочих процесів з використанням Python, Spark і Databricks
• Керування масштабовanними та ефективними рішеннями з інтеграції та обробки даних за допомогою Azure Data Factory, Databricks та Event Hub
• Створення надійних процесів керування даними та виконання розширених запитів і контролю якості даних за допомогою SQL та big data технологій
• Автоматизація операційних завдань та підтримка обслуговування інфраструктури за допомогою shell-скриптів та базових знань UNIX
• Підтримка ініціатив з моделювання даних для розробки узгодженої структури та документування всіх технічних процесів для безперебійної роботи

Умови та пільги

Вимоги

• Міцна база та розуміння управління даними в базах даних (загальні знання SQL, запити даних, контроль якості даних)
• Міцні знання програмування на Python (pandas, numpy)
• Високий рівень знань фреймворків Big Data / сховищ даних (Spark, Databricks)
• Міцні хмарні знання та робота з Azure Data Factory, Databricks, Event Hub
• Базове знайомство з операційною системою UNIX, особливо shell-скриптами
• Базове розуміння проблем на рівні мережі та вимог до підключення
• Базове розуміння принципів моделювання даних
• Орієнтований на дані мислення
• Структуроване, аналітичне мислення
• Міцні комунікативні навички
• Добре організованість
• Можливість працювати у багатозмінному режимі (з понеділка по п'ятницю, 07:00 - 22:00) + чергування (у будні вночі, на вихідних та у святкові дні)