Senior Databricks Data Engineer
Роботодавець · Hiflylabs
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикГнучкийПовнаБудапешт
Hiflylabs шукає Senior Databricks Data Engineer до своєї команди в Будапешті. Ви відповідатимете за проєктування, розробку та впровадження комплексних, масштабованих рішень Lakehouse на платформі Databricks у різних основних хмарних середовищах.
Завдання
- Проєктування, розробка та впровадження комплексних, масштабованих рішень Lakehouse на платформі Databricks.
- Проєктування, створення та оптимізація модульних потоків даних за допомогою Delta Lake.
- Впровадження управління даними та захищених рівнів доступу до даних за допомогою Databricks Unity Catalog.
- Написання чистого, ефективного та підтримуваного коду на SQL і Python у Databricks Notebooks та IDE.
- Розробка скриптів автоматизації з використанням Databricks CLI та REST API.
- Створення, підтримка та оптимізація CI/CD-процесів.
- Автоматизація та оркестрація процесів потоків даних за допомогою Databricks Workflows або Spark Declarative Pipelines.
- Створення рішень на базі екосистеми Databricks із безшовною інтеграцією хмарних сервісів зберігання та безпеки.
- Проєктування та впровадження сучасних рішень для моделювання даних та сховищ даних за допомогою Databricks SQL Warehouses.
- Відповідальність за технічні аспекти постачання та управління ними.
- Участь у плануванні проєктів, оцінці завдань, тестуванні та взаємодії з бізнес-стейкхолдерами.
- Створення вичерпної технічної документації.
Умови та пільги
Різноманітні проєктиУ кожному проєкті є щось нове — в технічному чи бізнесовому плані, — що допомагає вам рости.Розширення можливостейДовіра — основа нашої культури. Ми підтримаємо вас, якщо це потрібно, але дамо простір, якщо ви хочете розширити свої межі.Гнучкі умови роботиМи любимо наш офіс на вулиці Барток Бела — це не лише робоче місце, а й простір для спільноти. Водночас ми поважаємо ваше право працювати тоді й так, як вам зручно.Баланс між роботою та життямМи любимо те, що робимо, і прагнемо працювати з тими, хто розділяє цей підхід. Забудьте про беззмістовні зустрічі та зайву паперову тяганину.Менторство з першого дняПостійна підтримка — це не просто слова: ваш ментор супроводжуватиме вас на кожному етапі кар'єрного шляху.Можливості навчання та розвиткуЯкщо ви прагнете постійно навчатися й розвиватися, ми пропонуємо чудові можливості повністю розкрити свій потенціал.Дружня корпоративна культураЗгуртованість команди, що базується на товариськості, взаємопідтримці та повазі.
Вимоги
- Впевнене володіння SQL та Python із акцентом на чистий, ефективний і підтримуваний код.
- Практичний досвід використання інструментів та агентів для написання коду на базі ШІ.
- Досвід інтеграції API та написання скриптів для автоматизації платформи.
- Практичний досвід використання Declarative Automation Bundles (DABs).
- Ґрунтовне розуміння стандартних CI/CD інструментів та систем контролю версій.
- 3-5 років практичного досвіду в інженерії даних із сильним фокусом на архітектуру Databricks Lakehouse.
- Підтверджений досвід успішної реалізації принаймні одного комплексного, масштабованого рішення для роботи з даними з використанням ключових функцій Databricks.
- Досвід роботи з Databricks щонайменше в одному з основних хмарних середовищ (AWS, Azure або GCP).
- Рідна угорська мова та вільне володіння англійською мовою письмово й усно.