Senior Databricks Data Engineer
Работодатель · Hiflylabs
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикГибкийПолнаяБудапешт
Hiflylabs ищет Senior Databricks Data Engineer в свою команду в Будапеште. Вам предстоит проектировать, разрабатывать и внедрять комплексные, масштабируемые решения Lakehouse на платформе Databricks в основных облачных средах.
Задачи
- Проектирование, разработка и внедрение комплексных, масштабируемых решений Lakehouse на платформе Databricks.
- Проектирование, создание и оптимизация модульных потоков данных с использованием Delta Lake.
- Внедрение управления данными и защищенных уровней доступа к данным с помощью Databricks Unity Catalog.
- Написание чистого, эффективного и поддерживаемого кода на SQL и Python в Databricks Notebooks и IDE.
- Разработка скриптов автоматизации с использованием Databricks CLI и REST API.
- Создание, поддержка и оптимизация CI/CD-процессов.
- Автоматизация и оркестрация процессов потоков данных с помощью Databricks Workflows или Spark Declarative Pipelines.
- Создание решений на базе экосистемы Databricks с бесшовной интеграцией облачных сервисов хранения и безопасности.
- Проектирование и внедрение современных решений для моделирования данных и хранилищ данных с помощью Databricks SQL Warehouses.
- Ответственность за технические аспекты поставок и управление ими.
- Участие в планировании проектов, оценке задач, тестировании и взаимодействии с бизнес-стейкхолдерами.
- Создание исчерпывающей технической документации.
Условия и льготы
Разнообразные проектыВ каждом проекте есть что-то новое — в техническом или бизнес-плане, — что помогает вам расти.Автономия и довериеДоверие — основа нашей культуры. Мы поддержим вас, если это нужно, но дадим простор, если вы хотите выйти за привычные рамки.Гибкие условия работыМы любим наш офис на улице Барток Бела — это не только рабочее место, но и пространство для общения. При этом мы уважаем ваше право работать тогда и так, как вам удобно.Баланс работы и личной жизниМы любим то, что делаем, и стремимся работать с теми, кто разделяет этот подход. Забудьте о бессмысленных встречах и лишней бюрократии.Наставничество с первого дняПостоянная поддержка — это не просто слова: ваш ментор будет сопровождать вас на каждом этапе карьерного пути.Возможности обучения и развитияЕсли вы стремитесь постоянно учиться и развиваться, мы предоставляем отличные возможности для раскрытия вашего потенциала.Дружелюбная корпоративная культураСплоченность команды, основанная на товариществе, взаимоподдержке и уважении.
Требования
- Уверенное владение SQL и Python с акцентом на чистый, эффективный и поддерживаемый код.
- Практический опыт использования ИИ-инструментов и агентов для написания кода.
- Опыт интеграции API и написания скриптов для автоматизации платформы.
- Практический опыт использования Declarative Automation Bundles (DABs).
- Глубокое понимание стандартных CI/CD-инструментов и систем контроля версий.
- 3–5 лет практического опыта в инженерии данных с серьезным фокусом на архитектуру Databricks Lakehouse.
- Подтвержденный опыт успешной реализации как минимум одного комплексного, масштабируемого решения для работы с данными с использованием ключевых функций Databricks.
- Опыт работы с Databricks как минимум в одной из основных облачных сред (AWS, Azure или GCP).
- Родной венгерский язык и отличное знание английского языка письменно и устно.