Data Engineer- EDLAP

Feladatok

• A globális adatlakó környezet karbantartása, fejlesztése és optimalizálása a magas adatminőség, megbízhatóság és teljesítmény biztosítása érdekében
• Nagy teljesítményű adatfeldolgozási folyamatok és munkafolyamatok tervezése és megvalósítása Python, Spark és Databricks használatával
• Skálázható és hatékony adatintegrációs és -feldolgozási megoldások kezelése az Azure Data Factory, Databricks és Event Hub eszközökkel
• Robusztus adatkezelési folyamatok kialakítása, valamint haladt adatinlekérdezés és minőségellenőrzés végrehajtása SQL és big data technológiákkal
• Operatív feladatok automatizálása és az infrastruktúra karbantartásának támogatása shell scripting és alapvető UNIX ismeretek révén
• Adatmodellezési kezdeményezések támogatása a koherens szerkezettervezés érdekében, valamint minden technikai folyamat dokumentálása az üzletmenet folytonosságáért

Feltételek és juttatások

Elvárások

• Erős háttér és adatbázis-adatkezelési ismeretek (általános SQL ismeretek, adatinlekérdezés, adatminőség-ellenőrzés)
• Erős programozási ismeretek Python nyelven (pandas, numpy)
• Magas szintű Big Data / adattó keretrendszer (Spark, Databricks)
• Erős felhőalapú ismeretek és az Azure Data Factory, Databricks, Event Hub kezelése
• Alapszintű UNIX operációs rendszer ismeret, különösen shell scripting
• Hálózati szintű problémák és kapcsolódási követelmények alapszintű megértése
• Adatmodellezési elvek alapszintű megértése
• Adatorientált szemléletmód
• Strukturált, analitikus gondolkodás
• Erős kommunikációs készség
• Jó szervezőkészség
• Munkavégzés többműszakos munkarendben (hétfőtől péntekig, 07:00 - 22:00) + készenlét (hétköznap éjszaka, hétvégén és ünnepnapokon)