Data Engineer-Enterprise Data Product

Завдання

• Підтримуйте, розробляйте та оптимізуйте глобальне середовище datalake, забезпечуючи високу якість даних, надійність та загальну продуктивність
• Проєктуйте та впроваджуйте високоефективні конвеєри обробки даних та робочі процеси за допомогою Python, Spark та Databricks
• Керуйте масштабованими та ефективними рішеннями для інтеграції й обробки даних за допомогою Azure Data Factory, Databricks та Event Hub
• Створюйте надійні процеси управління даними та виконуйте розширені запити даних і контроль якості за допомогою SQL та big data технологій
• Автоматизуйте операційні завдання та підтримуйте обслуговування інфраструктури за допомогою shell-скриптів та базових знань UNIX
• Підтримуйте ініціативи з моделювання даних для проєктування когерентної структури та документуйте всі технічні процеси для забезпечення безперервності роботи

Умови та пільги

Вимоги

• Міцна база та розуміння управління даними в базах даних (загальні знання SQL, запити даних, контроль якості даних)
• Міцні навички програмування на Python (pandas, numpy)
• Просунутий рівень Big Data / фреймворків сховищ даних (Spark, Databricks)
• Глибокі хмарні знання та володіння Azure Data Factory, Databricks, Event Hub
• Базове знайомство з операційною системою UNIX, особливо зі створенням shell-скриптів
• Базове розуміння проблем мережевого рівня та вимог до підключення
• Базове розуміння принципів моделювання даних
• Орієнтований на дані мислення
• Структуроване, аналітичне мислення
• Сильні комунікативні навички
• Добре організованість