Senior Data Engineer
Ügynökségen keresztül · Randstadhu
Szoftverfejlesztő
Adatbázis-adminisztrátorRendszerelemzőRugalmasTeljesBudapest
Ügyfelünk egy amerikai központú, saját szektorában piacvezető, több évtizedes múltra visszatekintő, agilis, globális hálózattal rendelkező vállalat. Magasan képzett Senior Data Engineer szakembereket keresünk bővülő budapesti csapatukba kulcsfontosságú technikai specialisták pozícióba. Ebben a szerepkörben robusztus adatplatform-megoldásokat építhet, optimalizálhatja a központi adatfolyamokat, és közvetlenül formálhatja a jövőtálló, adatközpontú és AI-alapú infrastruktúrát.
Feladatok
- Nagy teljesítményű, end-to-end adatfolyamok tervezése, felépítése és karbantartása az adatbetöltéstől, feldolgozástól és minőségbiztosítástól egészen a kiszállítási rétegig. A kritikus adatszerkezet-tervezési döntések és a műszaki megvalósítások felügyelete.
- Az adatplatform teljesítményének, megbízhatóságának és költséghatékonyságának optimalizálása Databricks Lakehouse architektúrákon. Haladó hangolási technikák (particionálás, clustering, materialized view-k, pre-aggregáció) alkalmazása és a medallion minták bevezetése.
- Szoros együttműködés az adattudományi, analitikai és ML/AI üzemeltetési csapatokkal olyan platformok és adatfolyamok építésében, amelyek támogatják a modelltulajdonítást, a betanítást, a feature engineeringet és a production környezetbe való deployolást.
- Az adatminőség-biztosítással, governance-szel, metaadat-kezeléssel, validációs keretrendszerekkel és a platform átláthatóságával kapcsolatos legjobb gyakorlatok kialakítása és érvényesítése.
- Infrastructure as code kezelése és CI/CD gyakorlatok alkalmazása Git-alapú deployment munkafolyamatokban.
- A műszaki irányvonal alakítása, a junior mérnökök mentorálása, új technológiák értékelése és bevezetése, valamint hatékony együttműködés a technikai és nem technikai érintett felekkel.
Feltételek és juttatások
Versenyképes juttatási csomagSenior szintű alapszér és éves teljesítménybónusz.JuttatásokCafeteria juttatás és magánegészségügyi biztosítási csomag.RugalmasságHibrid munkavégzési modell heti 2 nap irodai jelenléttel (Budapest) és heti 3 nap otthoni munkavégzéssel (Home Office).
Elvárások
- 10 év szakmai tapasztalat adatmérnöki területen, production-grade adatrendszerek építésében.
- Mélyreható ismeretek a Databricks és az Apache Spark terén, igazolt tapasztalattal komplex elosztott munkaterhelések optimalizálásában.
- Production tapasztalat az AWS-en futó Databricks Lakehouse-zal (Unity Catalog, Delta Lake, Delta Live Tables, Databricks SQL), valamint a mögöttes AWS alapszolgáltatásokkal (S3, IAM, Lambda, RDS).
- Kiváló SQL ismeretek és erős Python (PySpark) programozási tudás. (A Scala ismerete előnyt jelent).
- A Lakehouse és adattárház architektúrák, a medallion minták és a dimenzionális modellezés szolid ismerete.
- Szakmai tapasztalat olyan vállalatoknál, amelyeknél az adatbetöltés, a kiszállítás és a felhasználás kulcsfontosságú üzleti funkciók.
- Erős kommunikációs készség, igazolt képesség a junior mérnökök mentorálására, a műszaki irányvonal alakítására és a különböző érintett felekkel való hatékony együttműködésre.