Data Engineer-Enterprise Data Product

Задачи

• Поддерживайте, разрабатывайте и оптимизируйте глобальную среду datalake, обеспечивая высокое качество данных, надежность и общую производительность
• Проектируйте и внедряйте высокопроизводительные конвейеры обработки данных и рабочие процессы с использованием Python, Spark и Databricks
• Управляйте масштабируемыми и эффективными решениями для интеграции и обработки данных с помощью Azure Data Factory, Databricks и Event Hub
• Создавайте надежные процессы управления данными и выполняйте расширенные запросы данных и контроль качества с помощью SQL и big data технологий
• Автоматизируйте операционные задачи и поддерживайте обслуживание инфраструктуры с помощью shell-скриптов и базовых знаний UNIX
• Поддерживайте инициативы по моделированию данных для проектирования когерентной структуры и документируйте все технические процессы для обеспечения непрерывности работы

Условия и льготы

Требования

• Прочная база и понимание управления данными в базах данных (общие знания SQL, запросы данных, контроль качества данных)
• Прочные навыки программирования на Python (pandas, numpy)
• Продвинутый уровень Big Data / фреймворков хранилищ данных (Spark, Databricks)
• Глубокие облачные знания и владение Azure Data Factory, Databricks, Event Hub
• Базовое знакомство с операционной системой UNIX, особенно со скриптами shell
• Базовое понимание проблем сетевого уровня и требований к подключению
• Базовое понимание принципов моделирования данных
• Ориентированное на данные мышление
• Структурированное, аналитическое мышление
• Сильные коммуникативные навыки
• Хорошая организованность