Senior Databricks Data Engineer
Роботодавець · Hiflylabs
Адміністратор баз даних
Розробник програмного забезпеченняСистемний аналітикГнучкийПовнаБудапешт
Hiflylabs — це компанія з 250 співробітниками в Будапешті. Вони шукають Senior Databricks Data Engineer для проєктування, розробки та впровадження комплексних, масштабованих рішень Lakehouse на платформі Databricks у ключових хмарних середовищах (Azure, AWS або GCP).
Завдання
- Проєктування, розробка та впровадження комплексних, масштабованих рішень Lakehouse на платформі Databricks у ключових хмарних середовищах (Azure, AWS або GCP).
- Проєктування, створення та оптимізація модульних потоків даних за допомогою Delta Lake для забезпечення ефективності, надійності та якості даних.
- Впровадження керування даними (data governance) та безпечних рівнів доступу до даних за допомогою Databricks Unity Catalog.
- Написання чистого, ефективного та зручного в обслуговуванні коду SQL і Python у Databricks Notebooks та IDE.
- Створення, підтримка та оптимізація CI/CD-процесів з використанням Declarative Automation Bundles (DABs).
- Автоматизація та оркестрація процесів обробки даних за допомогою Databricks Workflows або Spark Declarative Pipelines.
- Відповідальність за технічні аспекти поставки та їх управління (принаймні на рівні компонентів).
- Участь у плануванні проєктів, оцінці завдань, тестуванні та взаємодії з бізнес-стейкхолдерами.
Умови та пільги
Різноманітні проєктиУ кожному завданні є щось нове, чи то на технічному, чи то на бізнесовому рівні, що допомагає вам розвиватися.Розширення можливостейДовіра є основою нашої культури. Ми підтримаємо вас, якщо потрібно, але дамо простір, якщо ви хочете перевершити свої межі.Гнучкі умови праціМи обожнюємо наше розташування на вулиці Бартока Бели, яке є не лише офісом, а й спільнотою. Водночас ми поважаємо право кожного працювати тоді й так, як йому найзручніше.Збалансоване життяМи любимо те, що робимо, і прагнемо працювати з тими, хто також виконує свою роботу з любов'ю.Менторство з першого дняПостійна підтримка — це не просто гарні слова; ваш ментор супроводжуватиме вас протягом усього кар'єрного шляху.Можливості навчання та розвиткуЯкщо ви хочете постійно вчитися та розвиватися, ви на правильному шляху!Дружня корпоративна культураОкрім професійних успіхів, ми пишаємося згуртованістю колективу, яка базується на товариськості, взаємній підтримці та повазі.
Вимоги
- Необхідне впевнене володіння як SQL, так і Python, з акцентом на чистий, ефективний та зручний в обслуговуванні код, оптимізований для хмарних платформ даних.
- Практичний досвід використання інструментів та агентів для написання коду за допомогою штучного інтелекту.
- Практичний досвід використання Declarative Automation Bundles (DABs) для керування, пакування та розгортання ресурсів Databricks як коду.
- Ґрунтовне розуміння стандартних інструментів CI/CD та систем контролю версій.
- 3–5 років практичного досвіду в інженерії даних із сильним фокусом на архітектуру Databricks Lakehouse.
- Великий досвід роботи з Databricks щонайменше в одному з основних хмарних середовищ (AWS, Azure або GCP).
- Рідна угорська мова та вільне володіння англійською мовою письмово й усно.