Senior Data Engineer - AWS
Через агенцію · techPEOPLE Group
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикТимчасоваXI район Будапешта
Tech People — європейський постачальник послуг із постійного підбору персоналу та тимчасового найму технічних фахівців для різних галузей. Наразі ми шукаємо Data Engineer для проєктування, створення та оптимізації масштабованих конвеєрів даних і ETL/ELT робочих процесів.
Завдання
- Проєктування, створення та оптимізація масштабованих конвеєрів даних і ETL/ELT робочих процесів з використанням AWS, PySpark, Airflow та Redshift.
- Аналіз та оптимізація робочих навантажень Redshift, зокрема планів виконання запитів, конфігурації WLM, ключів розподілу/сортування та загальної продуктивності сховища.
- Розробка та підтримка надійних моделей даних і трансформаційних робочих процесів за допомогою SQL та dbt з дотриманням найкращих практик інженерії даних.
- Впровадження моніторингу, контролю якості даних, CI/CD та найкращих операційних практик для забезпечення надійних, масштабованих і готових до продакшену платформ даних.
Вимоги
- Від 5 років досвіду в інженерії даних, особливо в хмарних середовищах сховищ даних.
- Підтверджений досвід роботи з AWS Redshift: внутрішня архітектура, WLM, ключі розподілу/сортування, аналіз планів виконання запитів, методи оптимізації.
- Практичний досвід роботи з PySpark та Apache Airflow.
- Міцні навички SQL та глибоке розуміння налаштування продуктивності запитів у Redshift.
- Ґрунтовне розуміння принципів моделювання даних, зокрема розмірного моделювання (Кімбалл), нормалізованих моделей та гібридних стратегій.
- Досвід роботи з інструментами моніторингу (CloudWatch, Redshift Console)
- Знайомство з версіонуванням даних, CI/CD та практиками командної розробки в dbt.
- Впевнена англійська
- Кандидат повинен мати чинний дозвіл на роботу в Угорщині.