Data Engineer-Enterprise Data Product

Задачи

• Поддержка, разработка и оптимизация глобальной среды datalake с обеспечением высокого качества данных, надежности и общей производительности
• Проектирование и внедрение высокопроизводительных процессов обработки данных и рабочих процессов с использованием Python, Spark и Databricks
• Управление масштабируемыми и эффективными решениями для интеграции и обработки данных с помощью Azure Data Factory, Databricks и Event Hub
• Создание надежных процессов управления данными и выполнение расширенных запросов и контроля качества данных с помощью SQL и технологий больших данных
• Автоматизация операционных задач и поддержка обслуживания инфраструктуры с помощью shell-скриптов и базовых знаний UNIX
• Поддержка инициатив по моделированию данных для проектирования согласованной структуры и документирование всех технических процессов для обеспечения непрерывности работы

Условия и льготы

Требования

• Прочная база и понимание управления баз данных (общие знания SQL, запросы данных, контроль качества данных)
• Прочные знания программирования на Python (pandas, numpy)
• Продвинутый уровень Big Data / фреймворков datalake (Spark, Databricks)
• Прочные облачные знания и владение Azure Data Factory, Databricks, Event Hub
• Базовое знакомство с операционной системой UNIX, особенно с созданием shell-скриптов
• Базовое понимание проблем сетевого уровня и требований к подключению
• Базовое понимание принципов моделирования данных
• Ориентированное на данные мышление
• Структурированное, аналитическое мышление
• Сильные коммуникативные навыки
• Хорошая организованность
• Возможность работать в многосменном режиме (с понедельника по пятницу, 07:00 - 22:00) + дежурства (по будням ночью, в выходные и праздничные дни)