Staff Data Engineer
Роботодавець · Zocks
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикГнучкийПовнаXI район Будапешта, XI., Science Park
Zocks — це платформа штучного інтелекту, що змінює роботу фінансових радників. Ми шукаємо Staff Data Engineer, який відіграватиме провідну технічну роль у розробці нашої інфраструктури даних, забезпечуючи надійність, масштабованість і продуктивність у міру зростання нашого продукту та клієнтської бази.
Завдання
- Прийняття технічних рішень щодо архітектури даних, проєктування конвеєрів, оркестрації, зберігання та обробки.
- Управління розвитком виробничих конвеєрів даних, підвищення їхньої надійності, продуктивності, масштабомваності та зручності обслуговування.
- Відігравання ключової технічної ролі у проєктуванні та впровадженні нових рішень для озер даних (data lake), включаючи вибір архітектури та реалізацію.
- Проєктування та впровадження нових конвеєрів даних, інтеграцій та можливостей обробки даних для підтримки нашого продукту.
- Розробка та вдосконалення автоматизованих перевірок якості даних, моніторингу та систем сповіщення.
- Визначення та просування найкращих інженерних практик для тестування конвеєрів даних, спостережуваності (observability), документації та надійности.
- Проактивне виявлення та усунення вузьких місць продуктивності, невідповідностей даних та архітектурних обмежень.
- Співпраця з Head of Data у визначенні технічних пріоритетів та довгострокового розвитку наших можливостей з інжинірингу даних.
- Тісна співпраця з Data Analysts для розуміння вимог до даних та забезпечення надійних, доступних даних для аналітики та звітності.
- Співпраця з командами Platform Engineering та DevOps щодо хмарної інфраструктури, розгортання, моніторингу та операційної надійности.
Вимоги
- 7 років практичного досвіду в інжинірингу даних (Data Engineering) або суміжних галузях розробки ПЗ, включаючи досвід володіння складними виробничими системами даних.
- Експертні навички Python та SQL із сильним портфоліо проєктування та створення надійних, масштабованих конвеєрів даних.
- Глибинне розуміння ETL/ELT, моделювання даних, оркестрації конвеєрів та сучасних архітектур даних.
- Міцний практичний досвід роботи з хмарною інфраструктурою даних, переважно AWS.
- Підтверджений досвід прийняття архітектурних рішень та керівництва складними технічними ініціативами від проєктування до продакшену.
- Ґрунтовне розуміння сховищ даних (data warehousing), зберігання даних та розподіленої обробки даних