Staff Data Engineer
Работодатель · Zocks
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикГибкийПолнаяУйбуда, XI., Science Park
Zocks — это ИИ-платформа, меняющая подход к работе финансовых советников. Мы ищем Staff Data Engineer, который займет лидирующую техническую роль в разработке нашей инфраструктуры данных, обеспечивая надежность, масштабируемость и производительность по мере роста нашего продукта и клиентской базы.
Задачи
- Принятие технических решений по архитектуре данных, проектированию пайплайнов, оркестрации, хранению и обработке.
- Управление развитием производственных пайплайнов данных, повышение их надежности, производительности, масштабируемости и удобства поддержки.
- Ключевая техническая роль в проектировании и реализации новых решений для озер данных (data lake), включая выбор архитектуры и внедрение.
- Проектирование и внедрение новых пайплайнов данных, интеграций и возможностей обработки данных для поддержки нашего продукта.
- Разработка и совершенствование автоматизированных проверок качества данных, мониторинга и систем оповещения.
- Определение и продвижение лучших инженерных практик для тестирования пайплайнов данных, наблюдаемости (observability), документации и надежности.
- Проактивное выявление и устранение узких мест производительности, несоответствий данных и архитектурных ограничений.
- Совместно с Head of Data определение технических приоритетов и долгосрочного развития наших возможностей в области инженерии данных.
- Тесное сотрудничество с Data Analysts для понимания требований к данным и обеспечения надежных, доступных данных для аналитики и отчетности.
- Совместная работа с командами Platform Engineering и DevOps в отношении облачной инфраструктуры, деплоя, мониторинга и операционной надежности.
Требования
- 7 лет практического опыта в инженерии данных (Data Engineering) или смежных областях разработки ПО, включая опыт владения сложными промышленными системами данных.
- Экспертные навыки Python и SQL с сильным портфолио проектирования и создания надежных, масштабируемых пайплайнов данных.
- Глубокое понимание ETL/ELT, моделирования данных, оркестрации пайплайнов и современных архитектур данных.
- Уверенный практический опыт работы с облачной инфраструктурой данных, предпочтительно AWS.
- Подтвержденный опыт принятия архитектурных решений и руководства сложными техническими инициативами от проектирования до продакшна.
- Глубокое понимание хранилищ данных (data warehousing), хранения данных и распределенной обработки данных