Senior Data Engineer
Работодатель · Zocks
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикПолнаяУйбуда, Science Park
Мы ищем Senior Data Engineer для развития и совершенствования нашей инфраструктуры данных, обеспечения ее надежности, масштабируемости и производительности по мере роста продукта и клиентской базы. Вы присоединитесь к нашей команде Data и будете решать разнообразные сложные инженерные задачи и работать над новыми инициативами.
Задачи
- Проектирование, разработка и поддержка конвейеров данных в production, обеспечение их надежности, производительности, масштабируемости и простоты обслуживания.
- Внедрение новых конвейеров данных, интеграций и возможностей обработки данных для поддержки нашего продукта.
- Участие в проектировании и реализации новых решений на базе озёр данных (data lake).
- Оптимизация обработки, хранения данных и оркестрации для поддержки растущих объемов данных и сложных сценариев использования.
- Участие в архитектурных обсуждениях, оценка технических подходов и предложение улучшений для существующих решений.
- Разработка и улучшение возможностей автоматизированной проверки качества данных, мониторинга и оповещения.
- Применение лучших инженерных практик для тестирования конвейеров данных, наблюдаемости (observability), документирования и надежности.
- Выявление, устранение неполадок и решение проблем с качеством данных, сбоев в конвейерах и узких мест производительности.
- Повышение согласованности, полноты и доступности данных в различных системах.
- Полная ответственность (end-to-end) за закрепленные решения по инженерии данных — от реализации до промышленной эксплуатации.
Требования
- От 5 лет практического опыта в Data Engineering или смежных областях разработки ПО, включая опыт работы с продуктивными системами данных.
- Уверенные навыки программирования на Python и SQL, а также опыт проектирования, разработки и поддержки надежных конвейеров данных.
- Глубокое понимание принципов ETL/ELT, моделирования данных, оркестрации конвейеров и современных архитектур данных.
- Практический опыт работы с облачной инфраструктурой данных, желательно AWS.
- Опыт работы с хранилищами данных, системами хранения и технологиями обработки данных.
- Опыт обеспечения качества данных, мониторинга, тестирования, устранения неполадок и оптимизации производительности.
- Умение самостоятельно проектировать и внедрять технические решения, оценивать компромиссы и решать сложные инженерные задачи.
- Опыт взаимодействия с командами Data, Infrastructure и Software Engineering.
- Сильные навыки решения проблем, проактивный подход