Data Engineer
Через агенцію · IDBC Group
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикБудапешт
IDBC Group шукає досвідченого фахівця на позицію Data Engineer для роботи в Будапешті. Обов'язки включають проєктування, розробку архітектур і потоків даних, а також створення продуктів даних для аналітиків і спеціалістів з обробки даних.
Завдання
- Проєктування, розробка, оптимізація та обслуговування архітектур даних і потоків даних відповідно до принципів ETL та data lake.
- Підготовка, узгодження та передача артефактів, пов'язаних з архітектурою та потоками даних, для платформної команди з метою їх повторного використання іншими командами.
- Вирішення складних технічних завдань з управління даними для підтримки бізнес-цілей.
- Розробка продуктів даних для аналітиків, спеціалістів з обробки даних та інженерів з машинного навчання, які підвищують ефективність команди та організації.
- Підтримка, менторство та професійне консультування фахівців з даних та аналітики щодо застосування стандартів і найкращих практик управління даними на рівні команди та організації.
- Участь в оцінці нових інструментів і технологій у сфері інженерії даних та науки про дані, а також у визначенні та вдосконаленні методів роботи й стандартів.
- Сприяння постійному вдосконаленню через навчання, програми розвитку компетенцій, а також вдосконалення практик, стандартів і процесів аналітичної інженерії даних.
Вимоги
- Вища освіта у сфері ІТ або суміжній галузі.
- 4-10 років досвіду в інженерії даних, у середовищах розподілених обчислень, великих даних (big data) або поглибленої аналітики.
- Високий рівень знання SQL та аналізу даних, а також впевнене володіння хоча б однією мовою програмування (наприклад, Python або Scala).
- Досвід розробки баз даних та моделювання даних, ідеально у середовищах Databricks/Spark та SQL Server; знання реляційних, NoSQL та хмарних баз даних.
- Впевнені знання у сфері систем розподілених обчислень, перевагою буде досвід використання технологій Spark або MapReduce.
- Практичний досвід роботи з хмарними сервісами Azure, такими як Azure Data Factory, Azure Databricks, Event Hub, Synapse та Machine Learning.
- Хороші загальні знання основних понять у сфері даних та аналітики, включаючи розмірне моделювання даних, процеси ETL, сховища даних, звітність, управління даними, а також роботу зі структурованими та неструктурованими даними.
- Знання систем Unix, зокрема написання сценаріїв оболонки (shell scripting).
- Базові знання мережевих технологій, досвід підключення та усунення несправностей.
- Базові знання у сфері машинного навчання, науки про дані, штучного інтелекту, статистики або прикладної математики.
- Чудові комунікативні навички та впевнене володіння англійською мовою; знання німецької мови буде перевагою.