Data Tool Stack Engineer
Munkáltató · ZEISS Group
Szoftverfejlesztő
Adatbázis-adminisztrátorRendszergazdaMiskolc
Kritikus szerepet fog játszani a Data Engineering jövőjének alakításában, és aktívan hozzájárul a ZEISS digitális transzformációjának sikeréhez. Ebben a kihívást jelentő munkakörben Ön tervezi meg, valósítja meg és tartja karban robusztus helyszíni és hibrid adateszköz-vermet, különös tekintettel a Kubernetes-alapú környezetekre.
Feladatok
- Tervezze meg, valósítsa meg és tartsa karban a helyszíni (on-premises) adateszköz-vermet, különös tekintettel a Kubernetes-alapú környezetekre, miközben támogatja a hibrid felhős integrációkat (pl. MS Azure).
- Építsen és üzemeltessen skálázható adatbetöltési, üzenetküldési és Change Data Capture (CDC) megoldásokat olyan technológiák használatával, mint az MQTT, a Kafka, a Kafka Connect és a Debezium.
- Fejlesszen, optimalizáljon és vezényeljen le robusztus ETL/ELT adatfolyamokat és adatfeldolgozási folyamatokat a Python, PySpark, SQL, dbt és Apache Airflow használatával.
- Integráljon és üzemeltessen modern elosztott lekérdezési motorokat, például a Trino/Starburstot a gyors és hatékony adatelérés érdekében.
- Alakítson ki és folyamatosan fejlesszen CI/CD folyamatokat az adat- és platformkomponensek számára, automatizálva a kihelyezést, a konfigurációt és az infrastruktúra-kezelést.
- Tervezzen meg és támogasson hálózati és kapcsolódási koncepciókat, beleértve az Nginxet, a virtuális hálózatokat (VNet) és a hibrid felhős/helyszíni kapcsolatokat.
- Használjon mesterséges intelligencia ügynököket és ügynökalapú mérnöki megközelítéseket a DevOps-ban az automatizálás, a működési hatékonyság és a platform megbízhatóságának növelése érdekében.
- Biztosítsa a rendszer megbízhatóságát és átláthatóságát observability (megfigyelhetőségi), naplózási és keresési megoldások bevezetésével a Grafana, az Elasticsearch vagy az OpenSearch használatával.
Elvárások
- Egyetemi végzettség, előnyösen számítástudomány, természettudomány vagy mérnöki területen, valamint rajongás az adatplatformokért és az automatizálásért
- Erős szoftverfejlesztési készségek Pythonban, valamint kiváló SQL-ismeretek
- Gyakorlati tapasztalat a Kubernetes és a Helm terén, valamint gyakorlati tapasztalat a CI/CD folyamatok megvalósításában és karbantartásában
- Tapasztalat az ETL/ELT feldolgozás, adatfolyamok (data pipelines), PySpark és munkafolyamat-vezérlési vagy adatátalakítási technológiák terén, mint például az Apache Airflow, dbt vagy hasonló megoldások
- Tapasztalat az üzenetküldési és adatfolyam-technológiák (streaming) terén, mint például a Kafka, MQTT, Kafka Connect és Debezium, vagy hasonló Change Data Capture technológiák terén
- Elosztott SQL/lekérdezési motorok ismerete, mint a Trino vagy Starburst, valamint a megfigyelhetőségi és keresési technológiák, például a Grafana, Elasticsearch vagy OpenSearch ismerete
- A hálózati koncepciók, fordított proxyk (Nginx), hálózati útválasztás, VNet-ek és a hibrid kapcsolatok (pl. Azure ExpressRoute) jó szintű megértése