Data Engineering Technical Supervisor (Medior) – Databricks & Python
Munkáltató · Thermo Fisher Scientific
Szoftverfejlesztő
Adatbázis-adminisztrátor
IT-vezetőNappaliTeljesBudapest
Olyan Data Engineering Technical Supervisor szakembert keresünk, aki gyakorlati műszaki vezetéssel és napi szintű iránymutatással támogatja az adatmérnökök csapatát skálázható, megbízható és kiváló minőségű adatmegoldások építésében. Ez a pozíció nem tartalmaz humánerőforrás-menedzsment (people management) feladatokat. A szerepkör ötvözi a gyakorlati adatmérnöki munkát, a műszaki felügyeletet, a mentori támogatást és a projektvezetetést, erős fókuszban a Databricks, Python/PySpark, SQL, Delta Lake és a modern adatmérnöki gyakorlatok területével.
Feladatok
- Műszaki vezetés és mentori támogatás nyújtása az adatmérnökök számára, valamint a Databricks megoldások szakmai felügyelete.
- Skálázható ETL/ELT pipeline-ok tervezésének és megvalósításának vezetése és aktív támogatása Databricks, Python/PySpark, SQL és Delta Lake technológiák használatával.
- A mérnökök támogatása az architektúra, a design minták, a kódolási szabványok, a tesztelés és a teljesítményoptimalizálás területén.
- Műszaki tervek és kódok felülvizsgálata annak biztosítására, hogy a megoldások skálázhatók, karbantarthatók, biztonságosak és illeszkednek a mérnöki szabványokhoz.
- Összetett éles (production) problémák hibaelhárítása, a kivяtok elemzésének támogatása, a technikai adósság csökkentése és a platform megbízhatóságának növelése.
- A mérnöki legjobb gyakorlatok (best practices) népszerűsítése, beleértve a Git-alapú verziókövetést, az automatizált tesztelést, a CI/CD-t, a kódfelülvizsgálatot és a dokumentációt.
- Újrahasználható Python/PySpark komponensek és szabványos minták fejlesztése adatintegrációhoz, -átalakításhoz, -validációhoz és -feldolgozéshez.
- Munkavégzés Delta Lake, Unity Catalog és lakehouse architektúra mintákkal, valamint a Databricks munkafolyamat-orkesztráció és automatizálás támogatása.
- Megfelelő adatminőségi, monitoring, megfigyelhetőségi (observability) és hibakezelési mechanizmusok bevezetése.
- BI fejlesztők támogatása abban, hogy a szabályozott mérnöki kereteken belül építsenek ETL/ELT pipeline-okat, beleértve a jóváhagyott sablonokat, szabványokat, védőkorlátokat és a kódfelülvizsgálatot.
- Műszaki megbeszélések, tervfelülvizsgálatok, tudásmegosztás és a technikai onboarding facilitálása.
- Olyan együttműködő mérnöki kultúra ösztönzése, amely a felelősségvállalásra, a folyamatos fejlődésre és a kiváló minőségű szállításra fókuszál.
Elvárások
- Számítástechnikai, adatmérnöki, szoftverfejlesztési, informatikai vagy kapcsolódó területen szerzett alapfokú (BSc) diploma, vagy ezzel egyenértékű szakmai tapasztalat.
- 4 év szakmai tapasztalat adatmérnöki, szoftverfejlesztési vagy kapcsolódó műszaki területen.
- Erős gyakorlati tapasztalat a Python/PySpark, Databricks, Apache Spark és SQL használatában éles adatmérnöki környezetben.
- Tapasztalat éles szintű ETL/ELT pipeline-ok tervezésében és üzemeltetésében Delta Lake és lakehouse architektúra koncepciók alkalmazásával.
- Adatmodellezés, adatminőség, particionálás, teljesítményoptimalizálás és elosztott adatfeldolgozás szilárd ismerete.
- Tapasztalat Git-alapú fejlesztésben, automatizált tesztelésben, CI/CD-ben és kódfelülvizsgálatban.
- Bizonyított készség az összetett műszaki problémák hibaelhárítására és konstruktív mérnöki iránymutatás nyújtására.
- Tapasztalat mérnökök mentorálásában vagy műszaki vezetésben.
- Erős analitikai, problémamegoldó, kommunikációs és stakeholder-kezelési készségek.