Data Tool Stack Engineer
Роботодавець · ZEISS Group
Розробник програмного забезпечення
Адміністратор баз данихСистемний адміністраторБудапешт
Ви відіграватимете вирішальну роль у формуванні майбутнього Data Engineering та активно сприятимете успіху цифрової трансформації в ZEISS. У цій складній ролі ви проєктуватимете, впроваджуватимете та підтримуватимете наш надійний локальний та гібридний стек інструментів даних із сильним фокусом на середовищах на базі Kubernetes.
Завдання
- Проєктуйте, впроваджуйте та підтримуйте локальний (on-premises) стек інструментів даних із сильним фокусом на середовищах на базі Kubernetes, одночасно підтримуючи інтеграцію гібридного хмари (наприклад, MS Azure).
- Створюйте та експлуатуйте масштабовані рішення для завантаження даних, обміну повідомленнями та Change Data Capture (CDC) за допомогою таких технологій, як MQTT, Kafka, Kafka Connect та Debezium.
- Розробляйте, оптимізуйте та оркеструйте надійні конвеєри ETL/ELT і робочі процеси обробки даних за допомогою Python, PySpark, SQL, dbt та Apache Airflow.
- Інтегруйте та керуйте сучасними розподіленими движками запитів, такими як Trino/Starburst, щоб забезпечити швидкий і ефективний доступ до даних.
- Встановлюйте та постійно вдосконалюйте конвеєри CI/CD для компонентів даних і платформи, автоматизуючи розгортання, конфігурацію та керування інфраструктурою.
- Проєктуйте та підтримуйте концепції мереж і підключення, включаючи Nginx, віртуальні мережі (VNet) та гібридне підключення хмара/локальне середовище.
- Використовуйте агенти штучного інтелекту та агентові інженерні підходи в DevOps для підвищення рівня автоматизації, операційної ефективності та надійності платформи.
- Забезпечуйте надійність і прозорість системи за допомогою впровадження рішень спостережуваності (observability), логування та пошуку з використанням Grafana, Elasticsearch або OpenSearch.
Вимоги
- Вища освіта, переважно в галузі комп'ютерних наук, природничих наук або інженерії, у поєднанні з пристрастю до платформ даних та автоматизації
- Міцні навички програмної інженерії з Python, а також дуже хороші навички SQL
- Практичний досвід роботи з Kubernetes і Helm, а також практичний досвід впровадження та підтримки конвеєрів CI/CD
- Досвід обробки ETL/ELT, конвеєрів даних, PySpark та технологій оркестрації робочих процесів або перетворення даних, таких як Apache Airflow, dbt або подібні рішення
- Досвід роботи з технологіями обміну повідомленнями та потокової передачі даних, такими як Kafka, MQTT, Kafka Connect та Debezium або подібними технологіями зміни захоплення даних (CDC)
- Знання розподілених SQL/движків запитів, таких як Trino або Starburst, а також технологій спостережуваності та пошуку, таких як Grafana, Elasticsearch або OpenSearch
- Добре розуміння мережевих концепцій, зворотних проксі-серверів (Nginx), маршрутизації мережі, VNet та гібридного підключення (наприклад, Azure ExpressRoute)