Data Tool Stack Engineer
Работодатель · ZEISS Group
Разработчик программного обеспечения
Администратор баз данныхСистемный администраторПолнаяБудапешт
Вы будете играть ключевую роль в формировании будущего Data Engineering и активно участвовать в успехе цифровой трансформации в ZEISS. В этой сложной роли вы будете проектировать, внедрять и поддерживать наш надежный локальный и гибридный стек инструментов для работы с данными с упором на среды на базе Kubernetes. В качестве Data Tool Stack Engineer в ZEISS вы будете работать в дружной команде, ориентированной на сотрудничество, что способствует совместному проектированию и разработке масштабируемых высокопроизводительных платформ данных.
Задачи
- Проектирование, внедрение и поддержка локального (on-premises) стека инструментов для работы с данными с упором на среды на базе Kubernetes, а также поддержка гибридных облачных интеграций (например, MS Azure).
- Создание и эксплуатация масштабируемых решений для загрузки данных, обмена сообщениями и Change Data Capture (CDC) с использованием таких технологий, как MQTT, Kafka, Kafka Connect и Debezium.
- Разработка, оптимизация и оркестрация надежных ETL/ELT-пайплайнов и рабочих процессов обработки данных с использованием Python, PySpark, SQL, dbt и Apache Airflow.
- Интеграция и эксплуатация современных распределенных движков запросов, таких как Trino/Starburst, для обеспечения быстрого и эффективного доступа к данным.
- Создание и постоянное совершенствование CI/CD-пайплайнов для компонентов данных и платформы, автоматизация развертывания, конфигурации и управления инфраструктурой.
- Проектирование и поддержка концепций сетевого взаимодействия, включая Nginx, виртуальные сети (VNets) и гибридное подключение (облако/локальная инфраструктура).
- Использование агентов искусственного интеллекта и агентных инженерных подходов в DevOps для повышения уровня автоматизации, операционной эффективности и надежности платформы.
- Обеспечение надежности и прозрачности системы путем внедрения решений наблюдаемости (observability), логирования и поиска с использованием Grafana, Elasticsearch или OpenSearch.
Требования
- Высшее образование (желательно компьютерные науки, естественные науки или инженерия) и страсть к платформам данных и автоматизации
- Уверенные навыки разработки программного обеспечения на Python, а также отличные знания SQL
- Практический опыт работы с Kubernetes и Helm, а также практический опыт внедрения и поддержки CI/CD-пайплайнов
- Опыт работы с обработкой ETL/ELT, пайплайнами данных, PySpark и технологиями оркестрации рабочих процессов или трансформации данных, такими как Apache Airflow, dbt или сопоставимые решения
- Опыт работы с технологиями обмена сообщениями и потоковой передачи данных, такими как Kafka, MQTT, Kafka Connect и Debezium или сопоставимые технологии change data capture
- Знание распределенных SQL-движков / движков запросов, таких как Trino или Starburst, а также технологий наблюдаемости и поиска вроде Grafana, Elasticsearch или OpenSearch
- Хорошее понимание сетевых концепций, обратных прокси-серверов (Nginx), маршрутизации сетей, VNet и гибридного подключения (например, Azure ExpressRoute)