Data Tool Stack Engineer
Роботодавець · ZEISS Group
Розробник програмного забезпечення
Адміністратор баз данихСистемний адміністраторПовнаБудапешт
Ви відіграватимете ключову роль у формуванні майбутнього Data Engineering та братимете активну участь в успіху цифрової трансформації в ZEISS. У цій складній ролі ви проєктуватимете, впроваджуватимете та підтримуватимете наш надійний локальний та гібридний стек інструментів обробки даних із сильним фокусом на середовища на базі Kubernetes. Як Data Tool Stack Engineer в ZEISS ви працюватимете в дружній команді, орієнтованій на співпрацю, що сприяє спільному проєктуванню та розробці масштабованих високопродуктивних платформ даних.
Завдання
- Проєктування, впровадження та підтримка локального (on-premises) стека інструментів обробки даних із сильним фокусом на середовища на базі Kubernetes, а також підтримка гібридних хмарних інтеграцій (наприклад, MS Azure).
- Створення та експлуатація масштаَبованих рішень для завантаження даних, обміну повідомленнями та Change Data Capture (CDC) з використанням таких технологій, як MQTT, Kafka, Kafka Connect і Debezium.
- Розробка, оптимізація та оркестрація надійних ETL/ELT-памплайнів і робочих процесів обробки даних за допомогою Python, PySpark, SQL, dbt та Apache Airflow.
- Інтеграція та експлуатація сучасних розподілених механізмів запитів, таких як Trino/Starburst, для забезпечення швидкого та ефективного доступу до даних.
- Створення та постійне вдосконалення CI/CD-пайплайнів для компонентів даних і платформи, автоматизація розгортання, конфігурації та управління інфраструктурою.
- Проєктування та підтримка концепцій мережевої взаємодії, включаючи Nginx, віртуальні мережі (VNets) та гібридне підключення (хмара/локальна інфраструктура).
- Використання штучного інтелекту та агентних інженерних підходів у DevOps для підвищення рівня автоматизації, операційної ефективності та надійності платформи.
- Забезпечення надійності та прозорості системи шляхом впровадження рішень спостережуваності (observability), логування та пошуку за допомогою Grafana, Elasticsearch або OpenSearch.
Вимоги
- Вища освіта (бажано комп'ютерні науки, природничі науки або інженерія) та пристрасть до платформ даних і автоматизації
- Міцні навички програмної інженерії з Python, а також дуже хороші знання SQL
- Практичний досвід роботи з Kubernetes і Helm, а також практичний досвід впровадження та підтримки CI/CD-пайплайнів
- Досвід роботи з обробкою ETL/ELT, пайплайнами даних, PySpark та технологіями оркестрації робочих процесів або трансформації даних, такими як Apache Airflow, dbt або порівнянні рішення
- Досвід роботи з технологіями обміну повідомленнями та потокової передачі даних, такими як Kafka, MQTT, Kafka Connect і Debezium або порівнянні технології change data capture
- Знання розподілених SQL-движків / движків запитів, таких як Trino або Starburst, а також технологій спостережуваності та пошуку на зразок Grafana, Elasticsearch або OpenSearch
- Хороше розуміння мережевих концепцій, зворотних проксі-серверів (Nginx), маршрутизації мереж, VNet та гібридного підключення (наприклад, Azure ExpressRoute)