Data Engineer-Enterprise Data Product
Munkáltató · ALDI International IT Services (Hungary)
Szoftverfejlesztő
Adatbázis-adminisztrátorRendszerelemző2 műszakHétvégeRugalmasTeljesPécs
Adatmérnököt keresünk a pécsi ALDI International IT Services (Magyarország) csapatába. Ön felel majd a globális datalake környezet karbantartásáért, fejlesztéséért és optimalizálásáért, nagy teljesítményű adatfeldolgozási pipeline-ok tervezéséért, valamint a skálázható adatintegrációs megoldások kezeléséért.
Feladatok
- A globális datalake környezet karbantartása, fejlesztése és optimalizálása, biztosítva a magas adatminőséget, megbízhatóságot és az általános teljesítményt
- Nagy teljesítményű adatfeldolgozási pipeline-ok és munkafolyamatok tervezése és megvalósítása Python, Spark és Databricks használatával
- Skálázható és hatékony adatintegrációs és -feldolgozási megoldások kezelése az Azure Data Factory, a Databricks és az Event Hub alkalmazásával
- Stabil adatkezelési folyamatok kialakítása, valamint fejlett adatlekérdezések és minőségellenőrzés végrehajtása SQL és big data technológiák segítségével
- Operatív feladatok automatizálása és az infrastruktúra karbantartásának támogatása shell scripting és alapvető UNIX ismeretek révén
- Adatmodellezési kezdeményezések támogatása a koherens struktúra megtervezése érdekében, valamint az összes műszaki folyamat dokumentálása a folyamatosság biztosításához