Senior Data Engineer
Роботодавець · Zocks
Адміністратор баз даних
Розробник програмного забезпеченняГнучкийПовнаXI район Будапешта, XI., Science Park
Zocks — це AI-платформа, яка змінює роботу фінансових радників. Наша R&D-організація базується в Будапешті, де наші команди безпосередньо формують продукт і технології. Ми шукаємо Senior Data Engineer, який допоможе розробити та вдосконалити нашу інфраструктуру даних, забезпечуючи надійність, масштаبوваність і продуктивність.
Завдання
- Проєктування, розробка та підтримка продакшн-пайплайнів даних із забезпеченням надійності, продуктивності, масштабованості та зручності підтримки.
- Впровадження нових пайплайнів даних, інтеграцій та можливостей обробки даних для підтримки нашого продукту.
- Участь у проєктуванні та впровадженні нових рішень data lake.
- Оптимізація обробки даних, зберігання та оркестрації для підтримки зростаючих обсягів даних і складних сценаріїв використання.
- Участь в архітектурних обговореннях, оцінка технічних підходів та пропозиції щодо покращення наявних рішень.
- Розробка та вдосконалення автоматизованих перевірок якості даних, моніторингу та сповіщень.
- Застосування найкращих практик інженерії для тестування пайплайнів даних, наблюдачності (observability), документації та надійності.
- Виявлення, усунення неполадок та вирішення проблем із якістю даних, збоїв у пайплайнах та вузьких місць продуктивності.
- Тісна співпраця з керівником відділу даних (Head of Data) та аналітиками даних для розуміння вимог до даних і надання надійних, доступних даних для аналітики та звітності.
- Співпраця з командами Platform Engineering та DevOps щодо хмарної інфраструктури, розгортання, моніторингу та операційної надійності.
Вимоги
- 5 років практичного досвіду в інженерії даних (Data Engineering) або тісно пов'язаних галузях розробки ПЗ, зокрема досвід роботи з продакшн-системами даних.
- Міцні навички Python та SQL із досвідом проєктування, розробки та підтримки надійних пайплайнів даних.
- Ґрунтовне розуміння ETL/ELT, моделювання даних, оркестрації пайплайнів та сучасних архітектур даних.
- Практичний досвід роботи з хмарною інфраструктурою даних, переважно AWS.
- Досвід роботи з технологіями сховищ даних (data warehousing), зберігання та обробки даних.
- Досвід забезпечення якості даних, моніторингу, тестування, усунення несправностей та оптимізації продуктивності.
- Вміння самостійно проєктувати та впроваджувати технічні рішення, оцінювати компроміси та вирішувати складні інженерні проблеми.
- Досвід співпраці з командами обробки даних, інфраструктури та розробки програмного забезпечення.