OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
parquet
전체
최신순
질문하기
답변
1
helpme2
·
2년 이상
332
0
답변 1
Sink Connecntor 생성 도와주세요 ... ㅠㅠ
문제 상황을 정리한 Notion입니다. https://eminent-pruner-9ad.notion.site/Sink-Connector-Schema-Parquet-4f556e072a644e9c84b1f78d26faddae?pvs=4 MSK에서 S3 싱크 커넥터 생성 시 Parquet 파일 저장을 목표로 하고 있습니다. connector.class=io.confluent.connect.s3.S3SinkConnector format.cla
답변
0
Dan!
·
거의 5년
521
0
답변 0
아파치 스파크 파일 변환 성능
안녕하세요 스파크 공부를 막 시작한 주니어 개발자입니다~기존 데이터 파이프라인에 적용해보고 싶은데 가능할지 알고싶어 질문드립니다~적용을 목표로 하는 파이프라인은 배치성 작업으로 1. CSV 파일에 여러 사용자가 남긴 로그들이 쌓여 일정 크기 혹은 시간 쌓여 S3에 업로드 됩니다.2. 워커에서는 해당 파일에 접근하여 일부 전처리를 합니다.3. 사용자 컬럼을 기준으로
Search Bar
