Senior Data Engineer
Роботодавець · DSS Consulting Zrt.
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикПешт
Ми шукаємо досвідченого фахівця на посаду Senior Data Engineer до команди нашого партнера, який із задоволенням працюватиме над розробкою сучасних хмарних платформ даних та створенням корпоративної інфраструктури даних. На цій позиції ви матимете можливість проєктувати, розробляти та оптимізувати комплексні процеси обробки даних, переважно в хмарному середовищі Data Lakehouse на базі AWS.
Завдання
- Проєктування, розробка та підтримка масштабованих і надійних процесів обробки даних ETL/ELT за допомогою сервісів AWS (Glue, Lambda, Step Functions, EMR).
- Створення рішень для Data Lake, Data Warehouse та потокової обробки даних, а також підтримка їхньої експлуатації (S3, Redshift, Kinesis, Athena).
- Оптимізація процесів обробки даних з погляду продуктивності, стабільності та економічної ефективності.
- Забезпечення дотримання вимог щодо безпеки даних, управління доступом, шифрування та відповідності стандартам.
- Забезпечення якості даних шляхом впровадження рішень для валідації, тестування та моніторингу.
- Професійна підтримка та менторство колег рівня Junior Data Engineer.
- Проведення рев'ю коду (code review) та технічних обговорень, формування та впровадження найкращих практик розробки (best practices).
- Підтримка впровадження сучасних інструментів обробки даних, фреймворків та рішень для автоматизації.
- Співпраця з командами Data Science, BI, Analytics та розробниками задля задоволення бізнес-потреб у даних.
- Підтримка рішень бізнес-аналітики шляхом забезпечення ефективних можливостей інтеграції та доступу до даних.
Вимоги
- Щонайменше 5 років досвіду роботи у сфері Data Engineering, з яких мінімум 3 роки — з хмарними рішеннями даних на базі AWS.
- Впевнене володіння SQL та Python на просунутому рівні для завдань з обробки та трансформації даних.
- Практичний досвід роботи з такими сервісами AWS: S3, Glue, Lambda, Redshift, Athena, Kinesis, Step Functions, EMR, CloudWatch.
- Знання рішень для моделювання даних, технік партиціювання та методів оптимізації продуктивності.
- Досвід планування процесів обробки даних та використання інструментів оркестрації.
- Знання стандартів безпеки даних, Data Governance та нормативних актів із захисту даних.
- Вища освіта або відповідний професійний досвід на аналогічній посаді.
- Самостійність, проактивність у роботі та швидка здатність до навчання.
- Структуроване мислення, розвинені навички розв'язання проблем.
- Ефективне управління кількома паралельними завданнями.
- Чудове володіння угорською мовою усно та письмово.
- Впевнене володіння англійською мовою, необхідне для виконання робочих обов'язків.
- Ввічливий підхід до співпраці та відкритість до обміну професійними знаннями.