Data Engineer- EDLAP

Задачи

• Поддержка, разработка и оптимизация глобальной среды озера данных с обеспечением высокого качества, надежности и производительности данных
• Проектирование и внедрение высокопроизводительных процессов обработки данных и рабочих процессов с использованием Python, Spark и Databricks
• Управление масштабируемыми и эффективными решениями по интеграции и обработке данных с помощью Azure Data Factory, Databricks и Event Hub
• Создание надежных процессов управления данными и выполнение расширенных запросов и контроля качества данных с помощью SQL и технологий big data
• Автоматизация операционных задач и поддержка обслуживания инфраструктуры с помощью shell-скриптов и базовых знаний UNIX
• Поддержка инициатив по моделированию данных для разработки согласованной структуры и документирование всех технических процессов для бесперебойной работы

Условия и льготы

Требования

• Прочная база и понимание управления данными в базах данных (общие знания SQL, запросы данных, контроль качества данных)
• Прочные знания программирования на Python (pandas, numpy)
• Высокий уровень знаний фреймворков Big Data / озёр данных (Spark, Databricks)
• Прочные облачные знания и работа с Azure Data Factory, Databricks, Event Hub
• Базовое знакомство с операционной системой UNIX, особенно shell-скриптами
• Базовое понимание проблем на сетевом уровне и требований к подключению
• Базовое понимание принципов моделирования данных
• Ориентированное на данные мышление
• Структурированное, аналитическое мышление
• Сильные коммуникативные навыки
• Хорошая организованность
• Возможность работать в многосменном режиме (с понедельника по пятницу, 07:00 - 22:00) + дежурство (в будни ночью, в выходные и праздничные дни)