Data Engineer - EDLAP
Роботодавець · ALDI International IT Services (Hungary)
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикГнучкийПовнаДебрецен
ALDI International IT Services (Угорщина) шукає кваліфікованого Data Engineer до своєї команди у Дебрецені. Ви відповідатимете за підтримку, розробку та оптимізацію глобального середовища datalake, забезпечуючи високу якість даних та продуктивність.
Завдання
- Підтримка, розробка та оптимізація глобального середовища datalake, забезпечення високої якості даних, надійності та продуктивності
- Проєктування та впровадження високопродуктивних процесів обробки даних і робочих процесів з використанням Python, Spark і Databricks
- Керування масштаabельними та ефективними рішеннями для інтеграції й обробки даних за допомогою Azure Data Factory, Databricks та Event Hub
- Створення надійних процесів управління даними та виконання розширених запитів і контролю якості за допомогою SQL і big data технологій
- Автоматизація операційних завдань та підтримка обслуговування інфраструктури за допомогою shell scripting та базових знань UNIX
- Підтримка ініціатив з моделювання даних для узгодженого проєктування структури та документування всіх технічних процесів для безперервності роботи
Умови та пільги
Постійно зростаюча організація та розширення можливостейНадійна довгострокова роботаРізноманітні та цікаві робочі обов'язкиВидатна заробітна платаГнучкі умови праціМожливість роботи з дому
Вимоги
- Ґрунтовний досвід та розуміння управління даними в базах даних (загальні знання SQL, запити до даних, контроль якості даних)
- Міцні знання програмування на Python (pandas, numpy)
- Просунутий рівень Big Data / фреймворків для сховищ даних (Spark, Databricks)
- Міцні хмарні знання та робота з Azure Data Factory, Databricks, Event Hub
- Базове знання операційної системи UNIX, особливо shell scripting
- Базове розуміння проблем на рівні мережі та вимог до підключення
- Базове розуміння принципів моделювання даних
- Орієнтований на дані мислення
- Структуроване, аналітичне мислення
- Міцні комунікативні навички
- Добре організованість
- Можливість працювати у багатозмінному режимі (з понеділка по п'ятницю, 07:00 AM - 22:00 PM) + чергування (у будні вночі, на вихідних та у святкові дні)