Senior Data Engineer
Через агенцію · Randstadhu
Розробник програмного забезпечення
Адміністратор баз данихСистемний аналітикГнучкийПовнаБудапешт
Наш клієнт — американська компанія, лідер ринку у своєму секторі з багаторічною історією та гнуглою глобальною мережею. Ми шукаємо висококваліфікованих Senior Data Engineer до їхньої зростаючої будапештської команди на ключові технічні ролі окремих спеціалістів (individual contributors). На цих позиціях ви будете створювати надійні платформні рішення для даних, оптимізувати ключові пайплайни та безпосередньо формувати орієнтовану на майбутнє інфраструктуру на основі даних та ШІ.
Завдання
- Проєктування, створення та підтримка високопродуктивних сквозних пайплайнів даних, що охоплюють інгестію, обробку, контроль якості та рівень доставки. Відповідальність за критичні архітектурні рішення щодо даних та їх технічну реалізацію.
- Оптимізація продуктивності, надійності та вартості платформи даних на базі архітектур Databricks Lakehouse. Застосування передових методів тюнінгу (партиціювання, кластеризація, матеріалізовані подання, пре-агрегація) та впровадження шаблонів medallion.
- Тісна співпраця з командами data science, аналітики та ML/AI operations задля створення платформ і пайплайнів, що забезпечують розробку моделей, навчання, feature engineering та розгортання в прод.
- Встановлення та впровадження найкращих практик щодо забезпечення якості даних, governance, управління метаданими, фреймворків валідації та моніторингу платформи.
- Управління інфраструктурою як кодом (IaC) та практиками CI/CD у рамках розгортання на основі Git.
- Вплив на технічний вектор, менторство молодших інженерів, оцінка та впровадження нових технологій, а також ефективна взаємодія як з технічними, так і з нетехнічними стейкхолдерами.
Умови та пільги
Конкурентна компенсаціяБазова зарплата senior-рівня та річний цільовий бонус.Пакет перевагПакет Cafeteria та приватне медичне страхування.ГнучкістьГібридний режим роботи з виходом в офіс (Будапешт) 2 дні на тиждень та 3 дні віддалено (Home Office).
Вимоги
- 10 років професійного досвіду в data engineering зі створення систем даних рівня production.
- Глибока експертиза в Databricks та Apache Spark із підтвердженим досвідом оптимізації складних розподілених навантажень.
- Досвід роботи в прод із Databricks Lakehouse на AWS (Unity Catalog, Delta Lake, Delta Live Tables, Databricks SQL) разом із ключовими супутніми сервісами AWS (S3, IAM, Lambda, RDS).
- Експертні навички SQL та впевнене володіння Python (PySpark). (Знання Scala буде перевагою).
- Ґрунтовне розуміння архітектур Lakehouse та сховищ даних (data warehouse), шаблонів medallion та дименсійного моделювання.
- Професійний досвід у компаніях, де інгестія, доставка та споживання даних є ключовими бізнес-функціями.
- Сильні комунікативні навички з підтвердженою здатністю менторити молодших інженерів, впливати на технічний вектор та ефективно взаємодіяти з різними стейкхолдерами.