Data Engineer - EDLAP

Задачи

• Поддержка, разработка и оптимизация глобальной среды datalake с обеспечением высокого качества данных, надежности и общей производительности
• Проектирование и внедрение высокопроизводительных конвейеров и рабочих процессов обработки данных с использованием Python, Spark и Databricks
• Управление масштабируемыми и эффективными решениями для интеграции и обработки данных с помощью Azure Data Factory, Databricks и Event Hub
• Создание надежных процессов управления данными и выполнение расширенных запросов и контроля качества данных с помощью SQL и технологий big data
• Автоматизация операционных задач и поддержка обслуживания инфраструктуры с помощью shell-скриптов и базовых знаний UNIX
• Поддержка инициатив по моделированию данных для разработки когерентной структуры и документирования всех технических процессов для обеспечения бесперебойности работы

Условия и льготы

Требования

• Глубокое понимание и опыт управления данными в базах данных (общие знания SQL, запросы к данным, контроль качества данных)
• Уверенные знания программирования на Python (pandas, numpy)
• Продвинутый уровень знаний фреймворков Big Data / datalake (Spark, Databricks)
• Глубокие знания облачных технологий и работа с Azure Data Factory, Databricks, Event Hub
• Базовое знание операционной системы UNIX, особенно shell-скриптов
• Базовое понимание проблем на сетевом уровне и требований к подключению
• Базовое понимание принципов моделирования данных
• Дата-центричный склад ума
• Структурированное, аналитическое мышление
• Развитые коммуникативные навыки
• Хорошая организованность