Senior Data Engineer
Через агентство · Randstadhu
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикГибкийПолнаяБудапешт
Наш клиент — американская компания, лидер рынка в своем секторе с многолетней историей и гибкой глобальной сетью. Мы ищем высококвалифицированных Senior Data Engineer в их растущую будапештскую команду на ключевые технические роли (individual contributors). На этих позициях вы будете создавать надежные платформенные решения для данных, оптимизировать ключевые пайплайны и напрямую формировать ориентированную на будущее инфраструктуру на основе данных и ИИ.
Задачи
- Проектирование, создание и поддержка высокопроизводительных сквозных пайплайнов данных, охватывающих ингестию, обработку, контроль качества и уровень доставки. Ответственность за критические архитектурные решения по данным и их техническую реализацию.
- Оптимизация производительности, надежности и стоимости платформы данных на базе архитектур Databricks Lakehouse. Применение передовых методов тюнинга (партиционирование, кластеризация, материализованные представления, пре-агрегация) и внедрение шаблонов medallion.
- Тесное сотрудничество с командами data science, аналитики и ML/AI operations для создания платформ и пайплайнов, обеспечивающих разработку моделей, обучение, feature engineering и развертывание в прод.
- Установление и внедрение лучших практик по обеспечению качества данных, governance, управлению метаданными, фреймворков валидации и мониторинга платформы.
- Управление инфраструктурой как кодом (IaC) и практиками CI/CD в рамках процессов деплоя на основе Git.
- Влияние на технический вектор, менторство младших инженеров, оценка и внедрение новых технологий, а также эффективное взаимодействие как с техническими, так и с нетехническими стейкхолдерами.
Условия и льготы
Конкурентная компенсацияБазовая зарплата senior-уровня и годовой целевой бонус.Пакет бонусовПакет Cafeteria и частное медицинское страхование.ГибкостьГибридный режим работы с присутствием в офисе (Будапешт) 2 дня в неделю и 3 дня удаленно (Home Office).
Требования
- 10 лет профессионального опыта в data engineering по созданию систем данных уровня production.
- Глубокая экспертиза в Databricks и Apache Spark с подтвержденным опытом оптимизации сложных распределенных нагрузок.
- Опыт работы в прод с Databricks Lakehouse на AWS (Unity Catalog, Delta Lake, Delta Live Tables, Databricks SQL) наряду с ключевыми сопутствующими сервисами AWS (S3, IAM, Lambda, RDS).
- Экспертные навыки SQL и уверенное владение Python (PySpark). (Знание Scala будет плюсом).
- Глубокое понимание архитектур Lakehouse и хранилищ данных (data warehouse), паттернов medallion и многомерного моделирования.
- Профессиональный опыт в компаниях, где ингестия, доставка и потребление данных являются ключевыми бизнес-функциями.
- Сильные коммуникативные навыки с подтвержденной способностью менторить младших инженеров, влиять на технический вектор и эффективно взаимодействовать с различными стейкхолдерами.