Spark/Airflow 기반 대기업 데이터레이크 파이프라인 개발 · 위시켓(Wishket) - 프로젝트
업무 내용
<프로젝트 개요>프로젝트 소개:대기업 보안환경에서의 DataLake DW/EDW 를 AI Agent와 연동하는 프로젝트입니다.데이터 엔지니어 대규모 데이터레이크 내 데이터 적재/이관/파이프라인 개발 업무 수행하게 됩니다.- 대규모 데이터 처리를 위한 MPP 엔진 활용 경험 (Spark 우대, 그 외 StarRocks, Impala, BigQuery 등) - Airflow 기반의 ETL 파이프라인 개발/운영 경험
기간제
