Data Engineer - EDLAP
Работодатель · ALDI International IT Services (Hungary)
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикГибкийПолнаяДебрецен
Компания ALDI International IT Services (Венгрия) ищет квалифицированного Data Engineer в свою команду в Дебрецене. Вы будете отвечать за поддержку, разработку и оптимизацию глобальной среды datalake, обеспечивая высокое качество данных и производительность.
Задачи
- Поддержка, разработка и оптимизация глобальной среды datalake с обеспечением высокого качества данных, надежности и производительности
- Проектирование и внедрение высокопроизводительных процессов обработки данных и рабочих процессов с использованием Python, Spark и Databricks
- Управление масштабируемыми и эффективными решениями для интеграции и обработки данных с помощью Azure Data Factory, Databricks и Event Hub
- Создание надежных процессов управления данными и выполнение расширенных запросов и контроля качества с использованием SQL и big data технологий
- Автоматизация операционных задач и поддержка обслуживания инфраструктуры с помощью shell scripting и базовых знаний UNIX
- Поддержка инициатив по моделированию данных для проектирования согласованной структуры и документирование всех технических процессов для непрерывности работы
Условия и льготы
Постоянно растущая организация и расширяющиеся возможностиНадежная долгосрочная работаРазнообразные и интересные рабочие обязанностиДостойная заработная платаГибкие условия трудаВозможность работать из дома
Требования
- Надежный опыт и понимание управления данными в базах данных (общие знания SQL, запросы к данным, контроль качества данных)
- Уверенные знания программирования на Python (pandas, numpy)
- Продвинутый уровень Big Data / фреймворков для хранилищ данных (Spark, Databricks)
- Уверенные знания облачных технологий и работа с Azure Data Factory, Databricks, Event Hub
- Базовое знание операционной системы UNIX, особенно shell scripting
- Базовое понимание проблем на сетевом уровне и требований к подключению
- Базовое понимание принципов моделирования данных
- Ориентированное на данные мышление
- Структурированное, аналитическое мышление
- Сильные коммуникативные навыки
- Хорошая организованность
- Готовность работать в многосменном режиме (с понедельника по пятницу, 07:00 AM - 22:00 PM) + дежурства (в будние ночи, в выходные и праздничные дни)