Технический руководитель по дата-инжинирингу (Medior) – Databricks & Python
Работодатель · Thermo Fisher Scientific
Разработчик программного обеспечения
Администратор баз данных
ИТ-руководительДневнойПолнаяБудапешт
Мы ищем технического руководителя по дата-инжинирингу для практического технического руководства и ежедневной поддержки команды дата-инженеров, создающих масштабируемые, надежные и высококачественные решения для работы с данными. Эта роль не предполагает управления персоналом. Позиция объединяет практическую работу с данными, технический надзор, наставничество и руководство проектами с сильным акцентом на Databricks, Python/PySpark, SQL, Delta Lake и современные практики дата-инжиниринга.
Задачи
- Обеспечение технического лидерства и наставничества для дата-инженеров, а также технический надзор за решениями на базе Databricks.
- Руководство и непосредственное участие в проектировании и реализации масштабируемых ETL/ELT-пайплайнов с использованием Databricks, Python/PySpark, SQL и Delta Lake.
- Консультирование инженеров по вопросам архитектуры, паттернов проектирования, стандартов кодирования, тестирования и оптимизации производительности.
- Проверка технических проектов и кода для обеспечения масштабируемости, сопровождаемости, безопасности и соответствия инженерным стандартам.
- Устранение сложных проблем в продакшне, поддержка анализа первопричин, снижение технического долга и повышение надежности платформы.
- Продвижение лучших инженерных практик, включая версионирование на основе Git, автоматизированное тестирование, CI/CD, код-ревью и документирование.
- Разработка многократно используемых компонентов Python/PySpark и стандартизированных шаблонов для загрузки, трансформации, валидации и обработки данных.
- Работа с Delta Lake, Unity Catalog и паттернами архитектуры lakehouse, а также поддержка оркестрации и автоматизации рабочих процессов Databricks.
- Внедрение надлежащих механизмов контроля качества данных, мониторинга, наблюдаемости (observability) и обработки ошибок.
- Помощь BI-разработчикам в создании ETL/ELT-пайплайнов в рамках регламентированных инженерных стандартов, включая использование утвержденных шаблонов, стандартов, защитных барьеров и код-ревью.
- Содействие проведению технических обсуждений, дизайн-ревью, обмену знаниями и техническому онбордингу.
- Формирование культуры командного взаимодействия, ориентированной на ответственность, постоянное совершенствование и высокое качество результатов.
Требования
- Степень бакалавра в области компьютерных наук, дата-инжиниринга, разработки программного обеспечения, ИТ или смежной дисциплины либо эквивалентный профессиональный опыт.
- 4 года профессионального опыта в дата-инжиниринге, разработке программного обеспечения или смежной технической сфере.
- Глубокий практический опыт работы с Python/PySpark, Databricks, Apache Spark и SQL в продакшн-среде дата-инжиниринга.
- Опыт проектирования и эксплуатации продакшн-уровня ETL/ELT-пайплайнов с использованием концепций Delta Lake и архитектуры lakehouse.
- Прочное понимание моделирования данных, качества данных, партиционирования, оптимизации производительности и распределенной обработки данных.
- Опыт разработки на основе Git, автоматизированного тестирования, CI/CD и код-ревью.
- Подтвержденная способность устранять сложные технические проблемы и предоставлять конструктивные инженерные рекомендации.
- Опыт наставничества инженеров или обеспечения технического лидерства.
- Сильные аналитические способности, навыки решения проблем, коммуникации и управления взаимодействием с заинтересованными сторонами.