Senior Data Engineer - AWS
Через агентство · techPEOPLE Group
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикВременнаяУйбуда
Tech People — европейская компания, предоставляющая услуги постоянного подбора персоналу и временного найма технических специалистов для различных отраслей. В настоящее время мы ищем Data Engineer для проектирования, создания и оптимизации масштабируемых конвейеров данных и ETL/ELT-процессов.
Задачи
- Проектирование, создание и оптимизация масштабируемых конвейеров данных и ETL/ELT-процессов с использованием AWS, PySpark, Airflow и Redshift.
- Анализ и оптимизация рабочих нагрузок Redshift, включая планы выполнения запросов, конфигурацию WLM, ключи распределения/сортировки и общую производительность хранилища.
- Разработка и поддержка надежных моделей данных и процессов трансформации с использованием SQL и dbt с соблюдением лучших практик инженерии данных.
- Внедрение мониторинга, контроля качества данных, CI/CD и лучших операционных практик для обеспечения надежных, масштабируемых и готовых к продакшену платформ данных.
Требования
- От 5 лет опыта в инженерии данных, особенно в облачных средах хранилищ данных.
- Подтвержденный опыт работы с AWS Redshift: внутренняя архитектура, WLM, ключи распределения/сортировки, анализ планов выполнения запросов, методы оптимизации.
- Практический опыт работы с PySpark и Apache Airflow.
- Уверенные навыки SQL и глубокое понимание настройки производительности запросов в Redshift.
- Глубокое понимание принципов моделирования данных, включая многомерное моделирование (Кимбалл), нормализованные модели и гибридные стратегии.
- Опыт работы с инструментами мониторинга (CloudWatch, Redshift Console)
- Знакомство с версионированием данных, CI/CD и практиками командной разработки в dbt.
- Уверенный английский
- Кандидат должен иметь действующее разрешение на работу в Венгрии.