Data Engineer - EDLAP
Munkáltató · ALDI International IT Services (Hungary)
Budapest
Az ALDI International IT Services (Magyarország) budapesti csapatába Data Engineer munkatársat keres a globális datalake-környezet karbantartására, fejlesztésére és optimalizálására, a magas adatminőség, megbízhatóság és teljesítmény biztosítása érdekében.
Feladatok
- A globális datalake-környezet karbantartása, fejlesztése és optimalizálása, a magas adatminőség, megbízhatóság és általános teljesítmény biztosítása mellett
- Nagy teljesítményű adatfeldolgozási pipeline-ok és munkafolyamatok tervezése és megvalósítása Python, Spark és Databricks alkalmazásával
- Skálázható és hatékony adatintegrációs és -feldolgozási megoldások kezelése az Azure Data Factory, Databricks és Event Hub eszközökkel
- Robusztus adatkezelési folyamatok kialakítása, valamint haladt adatinformáció-lekérdezés és minőségellenőrzés végrehajtása SQL-lel és big data technológiákkal
- Operatív feladatok automatizálása és az infrastruktúra karbantartásának támogatása shell scripting és alapvető UNIX ismeretek révén
- Adatmodellezési kezdeményezések támogatása a koherens struktúra megtervezéséhez, valamint az összes technikai folyamat dokumentálása az operatív folytonosság érdekében
Feltételek és juttatások
Folyamatosan fejlődő szervezet és növekvő lehetőségekBiztos, hosszú távú munkalehetőségVáltozatos és izgalmas feladatokKiemelkedő fizetésRugalmas munkavégzésHome office lehetőség
Elvárások
- Erős háttér és adatbázis-adatkezelési ismeretek (általános SQL ismeretek, adatinformáció-lekérdezés, adatminőség-ellenőrzés)
- Erős Python programozási ismeretek (pandas, numpy)
- Magas szintű Big Data / datalake keretrendszer ismeret (Spark, Databricks)
- Erős felhős ismeretek és az Azure Data Factory, Databricks, Event Hub kezelése
- Alapvető UNIX operációs rendszer ismeret, különösen a shell scripting terén
- Hálózati szintű problémák és kapcsolódási követelmények alapvető megértése
- Adatmodellezési elvek alapvető megértése
- Adatközpontú gondolkásmód
- Strukturált, analitikus gondolkodás
- Erős kommunikációs készségek
- Precíz, rendszerezett munkavégzés