엄청나게 많은 파일을 관리할 수 있는 솔루션?

Question

웹 페이지의 규모가 커지면 많은 파일들이 업로드 되고 다운로드를 하게 되잖아요? 그럼 하드웨어 성능엔 한계가 있을 것이고 아무리 파일이 작아도 너무 많은 갯수의 파일은 인덱싱 조차 못해줄 때 이럴 땐 어떤 방법으로 해결하나요?

siva6 · Answer

사이트와 파일의 성격에 따라 다를 것 같은데요.혹시 웹하드 인가요?

마요도리토스 · Answer

AI 학습 데이터 수집용 서버입니다. 고음질의 음성과 텍스트입니다. 음성데이터는 평균 20초당 1MB 입니다.

siva6 · Answer

수집해서 저장을 어떻게 하느냐는 문제인가요? 저라면 S3를 제일 먼저 고려할 것 같습니다.

마요도리토스 · Answer

S3를 현재 고려 하고있지만 AWS에 의존하는게 아니라 직접 구축해보고싶은 욕구도 있습니다,,..ㅋㅋ

allinux · Answer

hdfs 를 고려해보세요

Lamanus · Answer

인덱싱을 못하는 상황이 어떤 경우인가요?단순히 파일이 많아진다고 못하진 않을 것 같은데... 흠

6개의 답변