Senior Data Engineer
Munkáltató · Zocks
Adatbázis-adminisztrátor
SzoftverfejlesztőRugalmasTeljesBudapest XI. kerület, XI., Science Park
A Zocks egy AI-platform, amely átalakítja a pénzügyi tanácsadók munkáját. Teljes K+F szervezetünk Budapesten található, ahol csapataink közvetlenül formálják a terméket és a technológiát. Olyan Senior Data Engineert keresünk, aki segít fejleszteni és tökéletesíteni adatbázis-infrastruktúránkat, biztosítva a megbízhatóságot, a skálázhatóságot és a teljesítményt.
Feladatok
- Production adatcsövek (data pipeline-ok) tervezése, fejlesztése és karbantartása, biztosítva a megbízhatóságot, a teljesítményt, a skálázhatóságot és a karbantarthatóságot.
- Új adatcsövek, integrációk és adatfeldolgozási képességek implementálása a termékünk támogatása érdekében.
- Hozzájárulás új data lake megoldások tervezéséhez és implementálásához.
- Az adatfeldolgozás, a tárolás és az orchestráció optimalizálása a növekvő adatkötet és a komplex felhasználási esetek támogatásához.
- Részvétel az architekturális megbeszélésekben, technikai megközelítések értékelése és fejlesztési javaslatok tétele a meglévő megoldásokra.
- Automatikus adatminőség-ellenőrzések, monitorozási és riasztási funkciók fejlesztése és tökéletesítése.
- Mérnöki best practice-ek alkalmazása az adatcsövek tesztelésére, az adatkörnyezet átláthatóságára (observability), dokumentációjára és megbízhatóságára vonatkozóan.
- Adatminőségi problémák, csővezetékezési hibák és teljesítménybeli szűk keresztmetszetek azonosítása, hibakeresése és elhárítása.
- Szoros együttműködés a Head of Data-val és az Data Analystekkel az adatkövetelmények megértése, valamint a megbízható, elérhető adatok biztosítása érdekében az analitika és a riporting számára.
- Együttműködés a Platform Engineering és DevOps csapatokkal a felhőinfrastruktúra, a deployment, a monitorozás és az operatív megbízhatóság terén.
Elvárások
- 5 év releváns gyakorlati tapasztalat adatmérnöki (Data Engineering) vagy szorosan kapcsolódó szoftverfejlesztési területen, beleértve a production adarendszerekkel szerzett tapasztalatot is.
- Erős Python és SQL ismeretek, megbízható adatcsövek tervezésében, fejlesztésében és karbantartásában szerzett tapasztalattal.
- Stabil ETL/ELT, adatmodellezési, csővezetékelési (orchestration) és modern adatarchitektúra ismeretek.
- Gyakorlati tapasztalat felhőalapú adat-infrastruktúrával, elsősorban AWS-sel kapcsolatban.
- Tapasztalat adattárház (data warehousing), adattárolási és adatfeldolgozási technológiák terén.
- Tapasztalat az adatminőség, a monitorozás, a tesztelés, a hibakeresés és a teljesítmény-optimalizálás területén.
- Képesség a technikai megoldások önálló tervezésére és implementálására, a kompromisszumok (trade-offok) mérlegelésére és komplex mérnöki problémák megoldására.
- Tapasztalat az Adat-, Infrastruktúra- és Szoftverfejlesztő csapatokkal való együttműködésben.