Senior Data Engineer
Роботодавець · Bluebird
Адміністратор баз даних
Розробник програмного забезпеченняСистемний аналітикПовнаБудапешт
Data Engineer відповідає за підтримку та вдосконалення всіх потоків даних на платформі(-ах) аналітики даних. Спеціаліст проєктує та розробляє масштабовані ELT-пакети та рутини з джерел даних для створення інформації (наборів даних), визначаючи та створюючи конвеєри даних.
Завдання
- Визначення оптимальної архітектури платформи Data & Analytics для забезпечення доступності та повторного використання всіх необхідних даних для створення аналітичних продуктів
- Керування та моніторинг конвеєрів даних (data pipelines) для отримання та трансформації даних у платформу(-и) Data & Analytics
- Інтеграція та трансформація нових джерел даних (внутрішніх і зовнішніх) шляхом створення повного конвеєра від збору даних до ETL-процесу
- Забезпечення надання даних (Data Provisioning) для операційних додатків, які потребують трансформації даних з кількох джерел
- Оптимізація та розширення потоків даних і моделей даних платформи Data & Analytics, підтримка розгортання аналітичних продуктów
- Визначення та документування детальних процесів Data Engineering для гарантування ефективної розбудови та підтримки платформи даних і аналітики
- Оцінка стабільності, надійності та ефективності реалізованих ELT-процесів і конвеєрів даних та їх подальше перепроєктування
- Збір вимог та складання документа технічної специфікації
- Забезпечення та моніторинг високих стандартів якості даних з акцентом на їхню консистентність
- Своєчасне вирішення інцидентів, пов'язаних з інтерфейсами даних та ELT-процесами
- Розширення поточної платформи Data & Analytics можливостями «великих даних» (big data) шляхом дослідження та обміну найкращими практиками
Умови та пільги
Конкурентна базова зарплатаКонкурентна базова заробітна плата, що визначається на основі реального досвіду та навичокДодаткові пільги та бонусиДодаткові пільги на додачу до базової зарплати (кафетерій, бонуси)Віддалена роботаДоступно 2-3 дні на тиждень віддаленої роботи (home office)КомандаРобота в дружній команді ІТ-професіоналів.
Вимоги
- Магістерський ступінь у сфері IT / економіки
- 5–6 років досвіду роботи Data Engineer
- Вільне володіння англійською мовою
- Досвід моделювання даних (концептуального, логічного, фізичного) та документування моделей даних
- Професійний досвід та концептуальні знання щодо створення й підтримки фізичних і логічних моделей даних, включно з потоковою передачею даних (data streaming)
- Здатність мислити ширше за технологічні вимоги задля побудови ЄДИНОЇ логічної платформи Data & Analytics
- Чудове знання та підтверджений професійний досвід роботи з MS Azure та архітектурою Lakehouse, поглиблені знання та/або сертифікація з Databricks (Spark)
- Добре структуроване, аналітичне мислення та здатність чітко й зрозуміло пояснювати процеси нетехнічній аудиторії
- Експертиза в управлінні системами, зокрема в моніторингу, аварійному відновленні, резервному копіюванні, автоматизованому тестуванні, автоматизованій міграції схем та безперервному розгортанні (CI/CD)
- Здатність брати на себе відповідальність та прагнення до досконалості