Senior Data Engineer - AWS
Ügynökségen keresztül · techPEOPLE Group
Szoftverfejlesztő
Adatbázis-adminisztrátorRendszerelemzőIdeiglenesBudapest XI. kerület
A Tech People egy európai hátterű, munkaerő-toborzással és kölcsönzéssel foglalkozó cég, amely számos iparágban nyújt szolgáltatásokat. Jelenleg egy Data Engineer kollégát keresünk skálázható adatfolyamok és ETL/ELT munkafolyamatok tervezésére, felépítésére és optimalizálására.
Feladatok
- Skálázható adatfolyamok (pipeline-ok) és ETL/ELT munkafolyamatok tervezése, építése és optimalizálása AWS, PySpark, Airflow és Redshift használatával.
- Redshift munkaterhelések elemzése és optimalizálása, beleértve a lekérdezési végrehajtási terveket, a WLM-konfigurációt, a disztribúciós/rendezési kulcsokat és az adatraktár általános teljesítményét.
- Robusztus adatmodellek és transzformációs munkafolyamatok fejlesztése és karbantartása SQL és dbt használatával, az adatmérnöki best practice-ek követésével.
- Monitoring, adatminőség, CI/CD és operatív best practice-ek bevezetése a megbízható, skálázható és production-kész adatplatformok biztosítása érdekében.
Elvárások
- 5+ év tapasztalat adatmérnöki területen, különösen felhő alapú adatraktár-környezetekben.
- Bizonyított jártasság az AWS Redshift terén — belső működés, WLM, disztribúciós/rendezési kulcsok, lekérdezési végrehajtási tervek elemzése, optimalizációs technikák.
- Gyakorlati tapasztalat Pyspark és Apache Airflow terén.
- Erős SQL tudás és a lekérdezések teljesítményhangolásának mélyreható ismerete Redshiftben.
- Az adatmodellezési elvek alapos ismerete, beleértve a dimenziós modellezést (Kimball), a normalizált modelleket és a hibrid stratégiákat.
- Tapasztalat monitoring eszközök terén (CloudWatch, Redshift Console)
- Ismeretség az adatverziózással, a CI/CD-vel és a dbt-ben alkalmazott kollaboratív fejlesztési gyakorlatokkal.
- Magabiztos angol nyelvtudás
- A jelentkező jelenleg rendelkezzen magyarországi munkavégzésre jogosító engedéllyel.