Data Engineer - Enterprise Data Product

Feladatok

• A globális adat-tó környezet karbantartása, fejlesztése és optimalizálása, magas szintű adatminőség, megbízhatóság és általános teljesítmény biztosítása mellett
• Nagyteljesítményű adatfeldolgozási folyamatok és munkafolyamatok tervezése és megvalósítása Python, Spark és Databricks felhasználásával
• Skálázható és hatékony adatintegrációs és -feldolgozási megoldások kezelése az Azure Data Factory, Databricks és Event Hub használatával
• Stabil adatkezelési folyamatok kialakítása, valamint haladó szintű adatlekérdezés és minőségellenőrzés végrehajtása SQL és big data technológiák segítségével
• Operatív feladatok automatizálása és az infrastruktúra karbantartásának támogatása shell szkriptelés és alapvető UNIX ismeretek révén
• Adatmodellezési kezdeményezések támogatása a koherens struktúratervezés érdekében, valamint az összes technikai folyamat dokumentálása a folyamatos működés biztosítása érdekében

Feltételek és juttatások

Elvárások

• Erős háttér és tapasztalat az adatbázis-adatkezelés terén (általános SQL ismeretek, adatlekérdezés, adatminőség-ellenőrzés)
• Erős programozási ismeretek Python nyelven (pandas, numpy)
• Haladó szintű Big Data / adat-tó keretrendszer (Spark, Databricks)
• Erős felhőalapú ismeretek és az Azure Data Factory, Databricks, Event Hub kezelése
• Alapvető UNIX operációs rendszer ismeret, különös tekintettel a shell szkriptelésre
• Hálózati szintű problémák és kapcsolódási követelmények alapvető megértése
• Adatmodellezési alapelvek alapvető ismerete
• Adatközpontú szemléletmód
• Strukturált, analitikus gondolkodás
• Erős kommunikációs készség
• Jó szervezőkészség