아파치 스파크 파일 변환 성능

Question

안녕하세요 스파크 공부를 막 시작한 주니어 개발자입니다~기존 데이터 파이프라인에 적용해보고 싶은데 가능할지 알고싶어 질문드립니다~ 적용을 목표로 하는 파이프라인은 배치성 작업으로 1. CSV 파일에 여러 사용자가 남긴 로그들이 쌓여 일정 크기 혹은 시간 쌓여 S3에 업로드 됩니다.2. 워커에서는 해당 파일에 접근하여 일부 전처리를 합니다.3. 사용자 컬럼을 기준으로 로우를 분리하고 분리된 여러개의 그룹을 Parquet 파일로 각각 변환합니다. 4. 각각의 사용자 키를 기준으로 디렉토리가 구분되는 s3 location에 다시 업로드됩니다.이 과정에서 spark를 사용하면 대략Read(csv), group by(user column), write(parquet)이러한 과정을 거칠 것 같은데요 물론 아주 간략하게 구조를 잡은 것이고 필터링 등의 여러 중간 처리가 있을 것입니다.그렇다면 이 과정이 spark를 미사용 상태에서(c#) 처리되다가 적용을 하게 된다면 기대할 수 있는 성능 향상이 얼마나 있을지, 있다면 어떤 과정에서 어떻게 성능이 향상될 수 있을지 알려주시면 감사하겠습니다.질문이 미흡하다면 말씀해주세요

아파치 스파크 파일 변환 성능

0개의 답변

#spark 목록