Data Engineer-Enterprise Data Product
Работодатель · ALDI International IT Services (Hungary)
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитик2 сменыВыходныеГибкийПолнаяПеч
Мы ищем Data Engineer в ALDI International IT Services (Венгрия) в Пече. Вы будете отвечать за поддержку, разработку и оптимизацию глобальной среды datalake, проектирование высокопроизводительных конвейеров обработки данных и управление масштабируемыми решениями для интеграции данных.
Задачи
- Поддержка, разработка и оптимизация глобальной среды datalake с обеспечением высокого качества данных, надежности и общей производительности
- Проектирование и внедрение высокопроизводительных конвейеров и рабочих процессов обработки данных с использованием Python, Spark и Databricks
- Управление масштабируемыми и эффективными решениями для интеграции и обработки данных с помощью Azure Data Factory, Databricks и Event Hub
- Создание надежных процессов управления данными и выполнение расширенных запросов и контроля качества данных с помощью SQL и технологий big data
- Автоматизация операционных задач и поддержка обслуживания инфраструктуры с помощью shell scripting и базовых знаний UNIX
- Поддержка инициатив по моделированию данных для разработки согласованной структуры и документирование всех технических процессов для обеспечения непрерывности работы