Data Engineer-Enterprise Data Product
Роботодавець · ALDI International IT Services (Hungary)
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітик2 зміниВихідніГнучкийПовнаПеч
Ми шукаємо Data Engineer до ALDI International IT Services (Угорщина) у Печі. Ви відповідатимете за підтримку, розробку та оптимізацію глобального середовища datalake, проєктування високопродуктивних конвеєрів обробки даних та управління масштабованими рішеннями для інтеграції даних.
Завдання
- Підтримка, розробка та оптимізація глобального середовища datalake із забезпеченням високої якості даних, надійності та загальної продуктивності
- Проєктування та впровадження високопродуктивних конвеєрів та робочих процесів обробки даних за допомогою Python, Spark і Databricks
- Керування масштабованими та ефективними рішеннями для інтеграції та обробки даних за допомогою Azure Data Factory, Databricks і Event Hub
- Створення надійних процесів управління даними та виконання розширених запитів і контролю якості даних за допомогою SQL і технологій big data
- Автоматизація операційних завдань та підтримка обслуговування інфраструктури за допомогою shell scripting та базових знань UNIX
- Підтримка ініціатив з моделювання даних для розробки узгодженої структури та документування всіх технічних процесів для забезпечення безперебійності роботи