Data Engineer
Работодатель · Asura Technologies Ltd.
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикГибкийПолнаяБудапешт
Основанная в 2017 году со штаб-квартирой в Будапеште компания Asura Technologies Zrt. ищет Data Engineer в свою команду. Мы проектируем, разрабатываем и внедряем по всему миру системы парковки, мониторинга дорожного движения и безопасности на базе искусственного интеллекта, интегрируя в наши решения собственное программное обеспечение для видеоаналитики и распознавания номерных знаков.
Задачи
- Разработка и поддержка конвейеров данных на Python и AWS, включая проектирование процессов миграции и трансформации данных.
- Интеграция данных из различных систем через API и другие каналы.
- Управление, администрирование, оптимизация и поддержка баз данных (PostgreSQL).
- Разработка и мониторинг инфраструктуры данных с использованием инструментов DevOps.
- Разработка и эксплуатация хранилища данных (Amazon Redshift) и озера данных на базе S3 с оптимизацией затрат и производительности.
- Участие в миграции локальных (on-premises) конвейеров данных в AWS с параллельной эксплуатацией старой и новой сред до завершения перехода.
- Проектирование и тестирование синхронизации данных из исходных систем (например, CDC, событийно-ориентированная интеграция, zero-ETL и загрузка на основе снимков).
- Обеспечение доступности данных почти в реальном времени для моделей прогнозирования и API в дополнение к ежедневным пакетным ETL-процессам.
- Тесное сотрудничество с командами DevOps, архитектуры и исходных систем в многоучетной среде AWS на этапах staging и production.
Условия и льготы
Конкурентная заработная плата и годовой бонусЧастное медицинское страхование MedicoverАбонемент All You Can Move для фитнеса и велнесаДополнительный выходной в день рожденияВозможности профессионального развития в инновационной венгерской технологической компанииПостоянная, своевременная обратная связь по вашей работе и дружная рабочая атмосфераГибридный формат работы с возможностью работать из дома 2 дня в неделю
Требования
- Практический опыт работы с Python для задач обработки данных.
- Не менее 3 лет релевантного профессионального опыта.
- Уверенные практические знания Linux.
- Знакомство с сервисами AWS (например, S3, Lambda, RDS, Glue).
- Базовые знания SQL и PostgreSQL.
- Опыт работы с API и интеграцией данных.
- Базовое понимание принципов DevOps, включая CI/CD и Infrastructure as Code (IaC).
- Логическое мышление, готовность учиться и умение работать в команде.
- Понимание концепций хранилищ данных и основ мерного моделирования данных.
- Опыт работы с Amazon Redshift или аналогичным колонковым хранилищем данных (например, Snowflake, BigQuery).
- Знакомство с AWS Aurora / RDS PostgreSQL.
- Знание инструментов IaC, таких как Terraform или OpenTofu.