Data Tool Stack Engineer
Munkáltató · ZEISS Group
Szoftverfejlesztő
Adatbázis-adminisztrátorRendszergazdaTeljesBudapest
Kulcsszerepet játszol majd a data engineering jövőjének alakításában, és aktívan hozzájárulsz a ZEISS digitális transzformációjának sikeréhez. Ebben a kihívást jelentő munkakörben te tervezed, valósítod meg és tartod fenn a robusztus helyszíni és hibrid adat-infrastruktúránkat, nagy hangsúlyt fektetve a Kubernetes-alapú környezetekre. Data Tool Stack Engineerként a ZEISS-nél egy támogató, csapatközpontú környezetben dolgozhatsz, amely lehetővé teszi a skálázható, nagy teljesítményű adatplatformok közös tervezését és fejlesztését.
Feladatok
- Helyszíni (on-premises) adatköteges eszközkészletünk tervezése, megvalósítása és karbantartása, nagy hangsúlyt fektetve a Kubernetes-alapú környezetekre, miközben támogatja a hibrid felhős integrációkat (pl. MS Azure).
- Skálázható adatbetöltési, üzenetküldési és Change Data Capture (CDC) megoldások építése és üzemeltetése olyan technológiák használatával, mint az MQTT, a Kafka, a Kafka Connect és a Debezium.
- Robusztus ETL/ELT-folyamatok és adatfeldolgozási munkafolyamatok fejlesztése, optimalizálása és vezénylése Python, PySpark, SQL, dbt és Apache Airflow használatával.
- Modern elosztott lekérdezési motorok, például a Trino/Starburst integrálása és üzemeltetése a gyors és hatékony adatelérés érdekében.
- CI/CD-folyamatok kialakítása és folyamatos fejlesztése az adat- és platformkomponensek számára, automatizálva a telepítést, a konfigurációt és az infrastruktúra-kezelést.
- Hálózati és kapcsolódási koncepciók tervezése és támogatása, beleértve az Nginx-et, a virtuális hálózatokat (VNet) és a hibrid felhős/helyszíni kapcsolatokat.
- Mesterségesintelligencia-ügynökök és ágensalapú mérnöki megközelítések alkalmazása a DevOps-ban az automatizálás, a működési hatékonyság és a platform megbízhatóságának növelése érdekében.
- A rendszer megbízhatóságának és átláthatóságának biztosítása megfigyelhetőségi (observability), naplózási és keresési megoldások megvalósításával a Grafana, az Elasticsearch vagy az OpenSearch használatával.
Elvárások
- Egyetemi diploma, lehetőleg számítástechnika, természettudományok vagy mérnöki területen, valamint szenvedély az adatplatformok és az automatizálás iránt
- Erős szoftverfejlesztési készségek Pythonban, valamint kiváló SQL-ismeretek
- Gyakorlati tapasztalat a Kubernetes és a Helm terén, valamint gyakorlati tapasztalat a CI/CD-folyamatok megvalósításában és karbantartásában
- Tapasztalat az ETL/ELT feldolgozás, adatfolyamatok, PySpark és munkafolyamat-vezénylési vagy adatátalakítási technológiák terén, mint például az Apache Airflow, a dbt vagy hasonló megoldások
- Tapasztalat az üzenetküldési és streaming technológiák terén, mint például a Kafka, az MQTT, a Kafka Connect és a Debezium vagy hasonló change data capture technológiák
- Elosztott SQL-/lekérdezési motorok, például a Trino vagy a Starburst ismerete, valamint megfigyelhetőségi és keresési technológiák, mint a Grafana, az Elasticsearch vagy az OpenSearch
- A hálózati koncepciók, a fordított proxik (Nginx), a hálózati útválasztás, a VNet-ek és a hibrid kapcsolatok (pl. Azure ExpressRoute) jó szintű megértése