Data Engineer - Enterprise Data Product

Feladatok

• A globális datalake környezet karbantartása, fejlesztése és optimalizálása, a magas adatminőség, megbízhatóság és az általános teljesítmény biztosítása mellett
• Nagy teljesítményű adatfeldolgozási folyamatok és munkafolyamatok tervezése és megvalósítása Python, Spark és Databricks használatával
• Skálázható és hatékony adatintegrációs és -feldolgozási megoldások kezelése az Azure Data Factory, Databricks és Event Hub alkalmazásával
• Robusztus adatkezelési folyamatok kialakítása, valamint haladó szintű adatlekérdezési és minőségellenőrzési feladatok végrehajtása SQL és big data technológiák segítségével
• Működési feladatok automatizálása és az infrastruktúra karbantartásának támogatása shell scripting és alapvető UNIX ismeretek révén
• Adatmodellezési kezdeményezések támogatása a koherens struktúra megtervezése érdekében, valamint az összes technikai folyamat dokumentálása az üzletmenet folytonosságának biztosítása céljából

Feltételek és juttatások

Elvárások

• Erős háttér és az adatbázis-alapú adatkezelés ismerete (általános SQL ismeretek, adatlekérdezés, adatminőség-ellenőrzés)
• Erős Python programozási ismeretek (pandas, numpy)
• Haladó szintű Big Data / datalake keretrendszer (Spark, Databricks)
• Erős felhőalapú ismeretek és az Azure Data Factory, Databricks, Event Hub kezelése
• Alapvető UNIX operációs rendszer ismeret, különös tekintettel a shell scriptingre
• Hálózati szintű problémák és kapcsolódási követelmények alapvető megértése
• Adatmodellezési elvek alapvető megértése
• Adatorientált szemléletmód
• Strukturált, analitikus gondolkodás
• Kiváló kommunikációs készség
• Jó rendszerező készség
• Munkavégzés többműszakos munkarendben (hétfőtől péntekig, 07:00 - 22:00) + ügyelet (hétköznap éjszaka, hétvégén és ünnepnapokon)