Data Engineer
Ügynökségen keresztül · IDBC Group
Szoftverfejlesztő
Adatbázis-adminisztrátorRendszerelemzőBudapest
Az IDBC Group keres egy tapasztalt Data Engineer szakembert budapesti munkavégzésre. A feladatok közé tartozik az adatarchitektúrák és adatfolyamatok tervezése, fejlesztése, valamint adattermékek készítése az elemzők és adattudósok számára.
Feladatok
- Adatarchitektúrák és adatfolyamatok tervezése, fejlesztése, optimalizálása és karbantartása az ETL és data lake elveknek megfelelően.
- Az adatarchitektúrához és adatfolyamatokhoz kapcsolódó artefaktumok előkészítése, egyeztetése és átadása a platformcsapat számára, hogy azok más csapatok által is újrahasznosíthatók legyenek.
- Összetett technikai adatkezelési kihívások megoldása az üzleti célok támogatása érdekében.
- Olyan adattermékek fejlesztése elemzők, adattudósok és gépi tanulási mérnökök számára, amelyek növelik a csapat és a szervezet hatékonyságát.
- Adat- és analitikai szakemberek támogatása, mentorálása és szakmai tanácsadása az adatkezelési szabványok és legjobb gyakorlatok alkalmazásában csapat- és szervezeti szinten.
- Közreműködés az adatmérnöki és adattudományi területen megjelenő új eszközök és technológiák értékelésében, valamint a munkamódszerek és standardok meghatározásában és fejlesztésében.
- A folyamatos fejlesztés előmozdítása képzések, kompetenciafejlesztési programok, valamint az analitikai adatmérnöki gyakorlatok, szabványok és folyamatok fejlesztésén keresztül.
Elvárások
- Informatikai vagy kapcsolódó területen szerzett diploma.
- 4-10 év adatmérnöki területen, elosztott számítási, big data vagy fejlett analitikai környezetben.
- Magas szintű SQL és adatelemzési ismeretek, valamint legalább egy programozási nyelv (pl. Python vagy Scala) magabiztos használata.
- Tapasztalat adatbázis-fejlesztésben és adatmodellezésben, ideális esetben Databricks/Spark és SQL Server környezetben; relációs, NoSQL és felhőalapú adatbázisok ismerete.
- Magabiztos ismeretek az elosztott számítási rendszerek területén, előnyt jelent a Spark vagy a MapReduce technológiák használata.
- Gyakorlati tapasztalat Azure-alapú szolgáltatásokkal, mint például az Azure Data Factory, Azure Databricks, Event Hub, Synapse és a Machine Learning szolgáltatások.
- Jó általános ismeretek az adat- és analitikai terület alapfogalmairól, beleértve a dimenzionális adatmodellezést, ETL folyamatokat, adattárházakat, riportálást, adatirányítást, valamint a strukturált és strukturálatlan adatok kezelését.
- Unix rendszerek ismerete, különös tekintettel a shell scriptingre.
- Alapvető hálózati ismeretek, kapcsolódási és hibaelhárítási tapasztalat.
- Alapszintű ismeretek a gépi tanulás, adattudomány, mesterséges intelligencia, statisztika vagy alkalmazott matematika területén.
- Kiváló kommunikációs készség és magabiztos angol nyelvtudás; német nyelvismeret előnyt jelent.