Senior Data Engineer
Работодатель · Zocks
Администратор баз данных
Разработчик программного обеспеченияГибкийПолнаяУйбуда, XI., Science Park
Zocks — это ИИ-платформа, меняющая подход к работе финансовых консультантов. Вся наша научно-исследовательская команда базируется в Будапеште, где сотрудники напрямую влияют на продукт и технологии. Мы ищем Senior Data Engineer, который поможет развивать и совершенствовать инфраструктуру данных, обеспечивая ее надежность, масштабируемость и производительность.
Задачи
- Проектирование, разработка и поддержка продакшн-пайплайнов данных с обеспечением надежности, производительности, масштабируемости и простоты поддержки.
- Внедрение новых пайплайнов данных, интеграций и возможностей обработки данных для поддержки нашего продукта.
- Участие в проектировании и внедрении новых решений data lake.
- Оптимизация обработки данных, хранения и оркестрации для поддержки растущих объемов данных и сложных сценариев использования.
- Участие в архитектурных обсуждениях, оценка технических подходов и предложения по улучшению существующих решений.
- Разработка и совершенствование автоматизированных проверок качества данных, мониторинга и оповещений.
- Применение лучших практик инженерии для тестирования пайплайнов данных, наблюдаемости (observability), документации и надежности.
- Выявление, устранение неполадок и решение проблем с качеством данных, сбоев в пайплайнах и узких мест производительности.
- Тесное сотрудничество с Head of Data и дата-аналитиками для понимания требований к данным и предоставления надежных, доступных данных для аналитики и отчетности.
- Сотрудничество с командами Platform Engineering и DevOps в отношении облачной инфраструктуры, развертывания, мониторинга и операционной надежности.
Требования
- 5 лет практического опыта в области инженерии данных (Data Engineering) или смежных направлениях разработки ПО, включая опыт работы с продакшн-системами данных.
- Уверенные навыки владения Python и SQL, подтвержденный опыт проектирования, разработки и поддержки надежных пайплайнов данных.
- Твердое понимание ETL/ELT, моделирования данных, оркестрации пайплайнов и современных архитектур данных.
- Практический опыт работы с облачной инфраструктурой данных, предпочтительно AWS.
- Опыт работы с технологиями хранилищ данных (data warehousing), хранения и обработки данных.
- Опыт обеспечения качества данных, мониторинга, тестирования, устранения неполадок и оптимизации производительности.
- Умение самостоятельно проектировать и внедрять технические решения, оценивать компромиссы и решать сложные инженерные задачи.
- Опыт сотрудничества с командами обработки данных, инфраструктуры и разработки ПО.