Senior Data Engineer
Работодатель · DSS Consulting Zrt.
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикПешт
Мы ищем опытного специалиста на позицию Senior Data Engineer в команду нашего партнера, который будет с удовольствием работать над разработкой современных облачных платформ данных и созданием корпоративной инфраструктуры данных. На этой позиции у вас будет возможность проектировать, разрабатывать и оптимизировать сложные процессы обработки данных, преимущественно в облачной среде Data Lakehouse на базе AWS.
Задачи
- Проектирование, разработка и поддержка масштабируемых и надежных процессов обработки данных ETL/ELT с использованием сервисов AWS (Glue, Lambda, Step Functions, EMR).
- Создание решений для Data Lake, Data Warehouse и потоковой обработки данных, а также поддержка их эксплуатации (S3, Redshift, Kinesis, Athena).
- Оптимизация процессов обработки данных с точки зрения производительности, стабильности и экономической эффективности.
- Обеспечение соблюдения требований безопасности данных, управления доступом, шифрования и соответствия стандартам.
- Обеспечение качества данных путем внедрения решений для валидации, тестирования и мониторинга.
- Профессиональная поддержка и менторство коллег уровня Junior Data Engineer.
- Проведение код-ревью и технических обсуждений, формирование и внедрение лучших практик разработки (best practices).
- Поддержка внедрения современных инструментов обработки данных, фреймворков и решений для автоматизации.
- Сотрудничество с командами Data Science, BI, Analytics и разработчиками для удовлетворения бизнес-потребностей в данных.
- Поддержка решений бизнес-аналитики путем обеспечения эффективных возможностей интеграции и доступа к данным.
Требования
- Не менее 5 лет опыта работы в сфере Data Engineering, из них минимум 3 года — с облачными решениями данных на базе AWS.
- Уверенное владение SQL и Python на продвинутом уровне для задач по обработке и трансформации данных.
- Практический опыт работы со следующими сервисами AWS: S3, Glue, Lambda, Redshift, Athena, Kinesis, Step Functions, EMR, CloudWatch.
- Знание решений для моделирования данных, техник партиционирования и методов оптимизации производительности.
- Опыт планирования процессов обработки данных и использования инструментов оркестрации.
- Знание стандартов безопасности данных, Data Governance и нормативных актов по защите данных.
- Высшее образование или соответствующий профессиональный опыт на аналогичной должности.
- Самостоятельность, проактивность в работе и быстрая способность к обучению.
- Структурированное мышление, развитые навыки решения проблем.
- Эффективное управление несколькими параллельными задачами.
- Отличное владение венгерским языком устно и письменно.
- Уверенное владение английским языком, необходимое для выполнения рабочих обязанностей.
- Командный подход и открытость к обмену профессиональными знаниями.