Senior Databricks Data Engineer
Работодатель · Hiflylabs
Администратор баз данных
Разработчик программного обеспеченияСистемный аналитикГибкийПолнаяБудапешт
Hiflylabs — компания со штатом 250 человек в Будапеште. Они ищут Senior Databricks Data Engineer для проектирования, разработки и внедрения комплексных масштабируемых решений Lakehouse на платформе Databricks в основных облачных средах (Azure, AWS или GCP).
Задачи
- Проектирование, разработка и внедрение комплексных масштабируемых решений Lakehouse на платформе Databricks в основных облачных средах (Azure, AWS или GCP).
- Проектирование, создание и оптимизация модульных потоков данных с использованием Delta Lake для обеспечения эффективности, надежности и качества данных.
- Внедрение управления данными (data governance) и безопасных уровней доступа к данным с помощью Databricks Unity Catalog.
- Написание чистого, эффективного и поддерживаемого кода на SQL и Python в Databricks Notebooks и IDE.
- Создание, поддержка и оптимизация CI/CD-процессов с использованием Declarative Automation Bundles (DABs).
- Автоматизация и оркестрация процессов обработки данных с использованием Databricks Workflows или Spark Declarative Pipelines.
- Ответственность за технические аспекты поставок и их ведение (как минимум на уровне компонентов).
- Участие в планировании проектов, оценке задач, тестировании и взаимодействии с бизнес-стейкхолдерами.
Условия и льготы
Разнообразные проектыВ каждой задаче находится что-то новое — будь то с технической или бизнес-стороны, — что помогает вам расти.Автономия и довериеДоверие — краеугольный камень нашей культуры. Мы поддержим вас, если нужно, но дадим простор, если вы захотите расширить свои границы.Гибкий график работыМы любим наше пространство на улице Бартока Белы — это не просто офис, а настоящее комьюнити. При этом мы уважаем личный рабочий ритм каждого.Баланс между работой и жизньюМы любим то, что делаем, и стремимся работать с теми, кто разделяет эту страсть к своему делу.Менторство с первого дняПостоянная поддержка — это не просто красивые слова; ваш ментор будет сопровождать вас на протяжении всего карьерного пути.Возможности обучения и развитияЕсли вы хотите продолжать учиться и развиваться, вы попали по адресу!Дружная корпоративная культураПомимо профессиональных успехов, мы гордимся атмосферой в коллективе, которая строится на товариществе, взаимоподдержке и уважении.
Требования
- Требуется уверенное владение SQL и Python с акцентом на чистый, эффективный и поддерживаемый код, оптимизированный для облачных платформ данных.
- Практический опыт использования ИИ-инструментов и агентов для написания кода.
- Практический опыт использования Declarative Automation Bundles (DABs) для управления, пакетирования и развертывания ресурсов Databricks в виде кода.
- Прочное понимание стандартных инструментов CI/CD и систем контроля версий.
- 3–5 лет практического опыта в инженерии данных с серьезным упором на архитектуру Databricks Lakehouse.
- Большой опыт работы с Databricks по меньшей мере в одной из основных облачных сред (AWS, Azure или GCP).
- Родной венгерский язык и отличное знание английского языка (письменно и устно).