Data engineer
Через агентство · Randstad Hungary
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикПолнаяБудапешт
Роль Data Engineer сосредоточена на создании комплексных решений по обработке данных: проектировании, внедрении и оптимизации хранилищ, загрузке и манипуляции данными, создании продуктов данных и их поддержке. Вы будете поддерживать критически важный бизнес-продукт по аналитике данных, который используется по всей Европе для моделирования планов производства автомобилей с целью максимизации прибыльности при строгом соблюдении экологических норм ЕС и местных нормативов по выбросам CO2.
Задачи
- Проектирование и создание продакшн-решений по data engineering и пайплайнов с использованием сервисов Google Cloud Platform (GCP).
- Миграция существующих Big Data пайплайнов в среду Google Cloud Platform.
- Участие в работе команды внедрения на всех этапах — от концепции до запуска.
- Внедрение автоматизации на всех этапах пайплайна для сокращения времени разработки и релиза.
- Определение, разработка, оценка и суммирование результатов Proof of Concepts (PoCs) для валидации архитектурных решений.
- Тестирование, бенчмаркинг и сравнение альтернативных решений с четким обоснованием оптимального технического вектора.
- Совершенствование процессов управления инцидентами, деплоя и анализа первопричин.
- Прямое сотрудничество с Product Owners, бизнес-стейкхолдерами и архитекторами для проектирования, разработки, тестирования и деплоя изменений.
- Выявление и внедрение современных инструментов и практик разработки для повышения гибкости и скорости поставки.
- Руководство крупномасштабным внедрением и операционной поддержкой хранилищ данных, озер данных и аналитических платформ на GCP.