Senior Data Engineer
Роботодавець · Zocks
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикПовнаXI район Будапешта, Science Park
Ми шукаємо Senior Data Engineer для розвитку та вдосконалення нашої інфраструктури даних, забезпечення її надійності, масштабованості та продуктивності в міру зростання продукту та клієнтської бази. Ви приєднаєтеся до нашої команди Data та працюватимете над різноманітними складними інженерними завданнями та новими ініціативами.
Завдання
- Проєктування, розробка та підтримка конвеєрів даних у продакшн, забезпечення їхньої надійності, продуктивності, масштабованості та простоти обслуговування.
- Впровадження нових конвеєrів даних, інтеграцій та можливостей обробки даних для підтримки нашого продукту.
- Участь у проєктуванні та реалізації нових рішень на базі озер даних (data lake).
- Оптимізація обробки, зберігання даних та оркестрації для підтримки зростаючих обсягів даних і складних сценаріїв використання.
- Участь в архітектурних обговореннях, оцінка технічних підходів та пропозиція покращень для існуючих рішень.
- Розробка та покращення можливостей автоматизованої перевірки якості даних, моніторингу й сповіщення.
- Застосування найкращих інженерних практик для тестування конвеєрів даних, нагляденості (observability), документування та надійності.
- Виявлення, усунення несправностей та вирішення проблем із якістю даних, збоїв у конвеєрах і вузьких місць продуктивності.
- Підвищення узгодженості, повноти та доступності даних у різних системах.
- Повна відповідальність (end-to-end) за закріплені рішення з інженерії даних — від реалізації до продакшн-експлуатації.
Вимоги
- Від 5 років практичного досвіду в Data Engineering або суміжних сферах розробки ПЗ, зокрема досвід роботи з продакшн-системами даних.
- Впевнені навички Python та SQL, а також досвід проєктування, розробки та підтримки надійних конвеєрів даних.
- Глибоке розуміння ETL/ELT, моделювання даних, оркестрації конвеєрів та сучасних архітектур даних.
- Практичний досвід роботи з хмарною інфраструктурою даних, бажано AWS.
- Досвід роботи зі сховищами даних, системами зберігання та технологіями обробки даних.
- Досвід забезпечення якості даних, моніторингу, тестування, усунення неполадок та оптимізації продуктивності.
- Вміння самостійно проєктувати та впроваджувати технічні рішення, оцінювати компроміси та вирішувати складні інженерні завдання.
- Досвід співпраці з командами Data, Infrastructure та Software Engineering.
- Сильні навички вирішення проблем, проактивний підхід