Технічний керівник з дата-інжинірингу (Medior) – Databricks & Python
Роботодавець · Thermo Fisher Scientific
Розробник програмного забезпечення
Адміністратор баз даних
ІТ-керівникДеннийПовнаБудапешт
Ми шукаємо технічного керівника з дата-інжинірингу для забезпечення практичного технічного лідерства та повсякденної підтримки команди дата-інженерів, які створюють масштабовані, надійні та високоякісні рішення для даних. Ця роль не передбачає управління людьми. Позиція поєднує практичну роботу з даними, технічний нагляд, наставництво та керівництво проєктами з сильним акцентом на Databricks, Python/PySpark, SQL, Delta Lake та сучасні практики дата-інжинірингу.
Завдання
- Забезпечення технічного лідерства та наставництва для дата-інженерів, а також технічний нагляд за рішеннями на базі Databricks.
- Керівництво та безпосередня участь у проектуванні та впровадженні масштабованих ETL/ELT-пайплайнів за допомогою Databricks, Python/PySpark, SQL та Delta Lake.
- Консультування інженерів з питань архітектури, шаблонів проєктування, стандартів кодування, тестування та оптимізації продуктивності.
- Перевірка технічних проєктів та коду для гарантування масштабованості, підтримуваності, безпеки та відповідності інженерним стандартам.
- Усунення складних проблем у продакшні, підтримка аналізу першопричин, зменшення технічного боргу та підвищення надійності платформи.
- Просування найкращих інженерних практик, зокрема версіонування на основі Git, автоматизованого тестування, CI/CD, рев'ю коду та документування.
- Розробка багаторазових компонентів Python/PySpark та стандартизованих шаблонів для завантаження, трансформації, валідації та обробки даних.
- Робота з Delta Lake, Unity Catalog та шаблонами архітектури lakehouse, а також підтримка оркестрації та автоматизації робочих процесів Databricks.
- Впровадження належних механізмів контролю якості даних, моніторингу, спостережуваності (observability) та обробки помилок.
- Допомога BI-розробникам у створенні ETL/ELT-пайплайнів у межах регламентованих інженерних стандартів, зокрема із застосуванням затверджених шаблонів, стандартів, захисних бар'єрів та рев'ю коду.
- Сприяння проведенню технічних обговорень, рев'ю дизайну, обміну знаннями та технічному онбордингу.
- Формування культури командної взаємодії, орієнтованої на відповідальність, постійне вдосконалення та високу якість результатів.
Вимоги
- Ступінь бакалавра з комп'ютерних наук, дата-інжинірингу, розробки програмного забезпечення, ІТ або суміжної дисципліни, або еквівалентний професійний досвід.
- 4 роки професійного досвіду в дата-інжинірингу, розробці програмного забезпечення або суміжній технічній сфері.
- Глибокий практичний досвід роботи з Python/PySpark, Databricks, Apache Spark та SQL у продакшн-середовищі дата-інжинірингу.
- Досвід проєктування та експлуатації продакшн-рівня ETL/ELT-пайплайнів з використанням концепцій Delta Lake та архітектури lakehouse.
- Міцне розуміння моделювання даних, якості даних, партиціювання, оптимізації продуктивності та розподіленої обробки даних.
- Досвід розробки на основі Git, автоматизованого тестурования, CI/CD та рев'ю коду.
- Підтверджена здатність усувати складні технічні проблеми та надавати конструктивні інженерні поради.
- Досвід наставництва інженерів або забезпечення технічного лідерства.
- Сильні аналітичні здібності, навички розв'язання проблем, комунікації та управління взаємодією із зацікавленими сторонами.