Data Tool Stack Engineer
Работодатель · ZEISS Group
Разработчик программного обеспечения
Администратор баз данныхСистемный администраторБудапешт
Вы сыграете ключевую роль в формировании будущего Data Engineering и внесете значительный вклад в успех цифровой трансформации в ZEISS. В этой сложной роли вы будете проектировать, внедрять и поддерживать наш надежный локальный и гибридный стек инструментов для работы с данными с упором на среды на базе Kubernetes.
Задачи
- Проектируйте, внедряйте и поддерживайте локальный (on-premises) стек инструментов для работы с данными с упором на среды на базе Kubernetes, а также поддерживайте гибридные облачные интеграции (например, MS Azure).
- Создавайте и эксплуатируйте масштабируемые решения для загрузки данных, обмена сообщениями и Change Data Capture (CDC) с использованием таких технологий, как MQTT, Kafka, Kafka Connect и Debezium.
- Разрабатывайте, оптимизируйте и оркестрируйте надежные ETL/ELT-пайплайны и рабочие процессы обработки данных с использованием Python, PySpark, SQL, dbt и Apache Airflow.
- Интегрируйте и эксплуатируйте современные распределенные движки запросов, такие как Trino/Starburst, для обеспечения быстрого и эффективного доступа к данным.
- Создавайте и постоянно совершенствуйте CI/CD-пайплайны для компонентов данных и платформы, автоматизируя развертывание, конфигурацию и управление инфраструктурой.
- Проектируйте и поддерживайте сетевые концепции и концепции подключения, включая Nginx, виртуальные сети (VNet) и гибридное подключение к облаку/локальной среде.
- Используйте ИИ-агенты и агентские подходы в инженерной практике DevOps для повышения уровня автоматизации, операционной эффективности и надежности платформы.
- Обеспечивайте надежность и прозрачность системы, внедряя решения мониторинга (observability), логирования и поиска с использованием Grafana, Elasticsearch или OpenSearch.
Требования
- Высшее образование (желательно в области компьютерных наук, естественных наук или инженерии), а также увлеченность платформами данных и автоматизацией
- Уверенные навыки разработки на Python и отличное знание SQL
- Практический опыт работы с Kubernetes и Helm, а также практический опыт внедрения и поддержки CI/CD-пайплайнов
- Опыт работы с обработкой ETL/ELT, пайплайнами данных, PySpark, а также технологиями оркестрации воркфлоу или трансформации данных, такими как Apache Airflow, dbt или аналогичные решения
- Опыт работы с технологиями обмена сообщениями и потоковой передачи данных, такими как Kafka, MQTT, Kafka Connect и Debezium, или аналогичными технологиями Change Data Capture
- Знание распределенных SQL-движков и движков запросов, таких как Trino или Starburst, а также технологий мониторинга и поиска, таких как Grafana, Elasticsearch или OpenSearch
- Хорошее понимание сетевых концепций, обратных прокси-серверов (Nginx), маршрутизации сетей, VNet и гибридного подключения (например, Azure ExpressRoute)