Data Engineer
Через агентство · IDBC Group
Разработчик программного обеспечения
Администратор баз данныхСистемный аналитикБудапешт
IDBC Group ищет опытного специалиста на позицию Data Engineer для работы в Будапеште. В обязанности входит проектирование, разработка архитектур и потоков данных, а также создание продуктов данных для аналитиков и специалистов по обработке данных.
Задачи
- Проектирование, разработка, оптимизация и обслуживание архитектур данных и потоков данных в соответствии с принципами ETL и data lake.
- Подготовка, согласование и передача артефактов, связанных с архитектурой и потоками данных, для платформенной команды с целью их повторного использования другими командами.
- Решение сложных технических задач по управлению данными для поддержки бизнес-целей.
- Разработка продуктов данных для аналитиков, специалистов по обработке данных и инженеров по машинному обучению, которые повышают эффективность команды и организации.
- Поддержка, наставничество и профессиональное консультирование специалистов по данным и аналитике по применению стандартов и лучших практик управления данными на уровне команды и организации.
- Участие в оценке новых инструментов и технологий в области инженерии данных и науки о данных, а также в определении и совершенствовании методов работы и стандартов.
- Содействие постоянному совершенствованию через обучение, программы развития компетенций, а также совершенствование практик, стандартов и процессов аналитической инженерии данных.
Требования
- Высшее образование в сфере ИТ или смежной области.
- 4-10 лет опыта в инженерии данных, в средах распределенных вычислений, больших данных (big data) или углубленной аналитики.
- Высокий уровень знания SQL и анализа данных, а также уверенное владение хотя бы одним языком программирования (например, Python или Scala).
- Опыт разработки баз данных и моделирования данных, идеально в средах Databricks/Spark и SQL Server; знание реляционных, NoSQL и облачных баз данных.
- Уверенные знания в области систем распределенных вычислений, преимуществом будет опыт использования технологий Spark или MapReduce.
- Практичный опыт работы с облачными сервисами Azure, такими как Azure Data Factory, Azure Databricks, Event Hub, Synapse и Machine Learning.
- Хорошие общие знания основных понятий в области данных и аналитики, включая размерное моделирование данных, процессы ETL, хранилища данных, отчетность, управление данными, а также работу со структурированными и неструктурированными данными.
- Знание систем Unix, в особенности написания сценариев оболочки (shell scripting).
- Базовые знания сетевых технологий, опыт подключения и устранения неисправностей.
- Базовые знания в области машинного обучения, науки о данных, искусственного интеллекта, статистики или прикладной математики.
- Отличные коммуникативные навыки и уверенное владение английским языком; знание немецкого языка будет преимуществом.