Senior Data Engineer
Работодатель · Bluebird
Администратор баз данных
Разработчик программного обеспеченияСистемный аналитикПолнаяБудапешт
Data Engineer отвечает за поддержку и улучшение всех потоков данных на платформе(-ах) аналитики данных. Специалист проектирует и разрабатывает масштабируемые ELT-пакеты и рутины из исходных систем для создания информации (наборов данных), определяя и строя пайплайны данных.
Задачи
- Определение оптимальной архитектуры платформы Data & Analytics для обеспечения доступности и повторного использования всех необходимых данных для создания аналитических продуктов
- Управление и мониторинг пайплайнов данных для получения и трансформации данных в платформу(-ы) Data & Analytics
- Интеграция и трансформация новых источников данных (внутренних и внешних) путем создания полного пайплайна от сбора данных до ETL-процесса
- Обеспечение предоставления данных для операционных приложений, требующих трансформации данных из нескольких источников
- Оптимизация и расширение потоков данных и моделей данных платформы Data & Analytics, поддержка развертывания аналитических продуктов
- Определение и документирование детальных процессов Data Engineering для обеспечения эффективной разработки и поддержки платформы данных и аналитики
- Оценка стабильности, надежности и эффективности реализованных ELT-процессов и пайплайнов данных с их последующим редизайном
- Сбор требований и составление документа технической спецификации
- Обеспечение и мониторинг высоких стандартов качества данных с акцентом на их консистентность
- Своевременное устранение инцидентов, связанных с интерфейсами данных и ELT-процессами
- Расширение текущей платформы Data & Analytics возможностями больших данных (big data) путем исследования и обмена лучшими практиками
Условия и льготы
Конкурентная базовая зарплатаКонкурентная базовая заработная плата, определяемая на основе реального опыта и навыковДополнительные льготыДополнительные льготы в дополнение к базовой зарплате (кафетерий, бонусы)Удаленная работаДоступно 2-3 дня в неделю удаленной работы (home office)КомандаРабота в дружной команде ИТ-профессионалов.
Требования
- Магистерская степень в сфере IT / экономики
- 5–6 лет опыта работы Data Engineer
- Свободное владение английским языком
- Опыт моделирования данных (концептуального, логического, физического) и документирования моделей данных
- Профессиональный опыт и концептуальные знания по созданию и поддержке физических и логических моделей данных, включая потоковую передачу данных (data streaming)
- Способность мыслить шире технологических требований для построения ЕДИНОЙ логической платформы Data & Analytics
- Отличное знание и подтвержденный профессиональный опыт работы с MS Azure и архитектурой Lakehouse, глубокие знания и/или сертификация по Databricks (Spark)
- Хорошо структурированное, аналитическое мышление и способность четко и понятно объяснять процессы нетехнической аудитории
- Экспертиза в управлении системами, включая мониторинг, аварийное восстановление, резервное копирование, автоматизированное тестирование, автоматизированную миграцию схем и непрерывное развертывание (CI/CD)
- Способность брать на себя ответственность и стремление к совершенству