백엔드 서버 메모리 관련 질문입니다

Question

서버 A에서 한번의 요청시 서버 내부에 있는 100MB정도 되는 파일을 읽어서 결과값(평균 등)을 반환하는 api를 구동하고 있습니다. 만약 동시에 100번의 api요청을 한다면 서버 A에서 순간적으로 100*100MB인 10GB의 메모리가 사용되나요? 아니면 Framework마다 이런 것을 캐싱해주는 기능이 있는걸까요?

냥냥가면 · Answer

가비지컬렉션 검색해보세요~

장독깨기 · Answer

프레임웍이 그런 걸 캐싱 해주고 이런 기능은 없습니다.무슨 파일인지 모르겠지만, 상황에 따라 응용을 해야 할 것 입니다.그리고, 100M 파일을 한 번에 다 읽어서 메모리에 올릴 필요는 없습니다.

집킨 · Answer

동시에 100번의 요청이 들어오면 이론상 해당 요청 처리에만 10GB 이상이 사용될 수 있습니다근데 이건 직접 테스트해서 측정해보지 않는 이상 확답할수가 없어요그렇게 자주 호출되는 메소드는 JIT 컴파일러가 최적화를 해주는데, 코드를 어떻게 짰냐에 따라 파일 객체가 힙에 할당되지 않을수도 있거든요그 밖에 다양한 변수가 있습니다그렇다고 동시에 10GB가 꽉차서 뻗을 가능성은 낮습니다힙의 70%가 차면 (영역별로 비율은 상이함) gc가 발생하기 때문에 이미 처리가 끝난 요청에서 사용한 메모리는 회수됩니다G1 GC 쓰면 STW도 최소화 할 수 있구요물론 이건 사용한 리소스를 잘 닫아줬다는 가정 하에 성립합니다그리고 캐시는 직접 구현하셔야 합니다

빙수빙수 · Answer

파일스트림을 가지고 제대로 구현하면 100메가를 전부 메모리에 올리지 않아도 계산할 수 있을 수도 있고 (알고리즘이 허용한다는 가정하에), 적절한 동시성 설계를 통해 불필요한 연산을 안 한다던지 결과를 캐싱하는 구현은 얼마든지 가능합니다.다만 그걸 설계를 해야지 프레임웍에서 바로 지원하지는 않을거에요.Naive한 설계라면 10기가 충분히 먹을 수 있죠. 하신 질문은 로직에 대한 질문이지 GC와는 무관합니다.

mirheeoj · Answer

그 100MB 파일이 동일한 파일이라면 메모리맵드 파일을 사용하면 충격을 줄일 수 있겠네요.

rockbach · Answer

100메가짜리 파일이 이미 서버에 저장된거라면 그걸 어떻게 읽어서 작업하는냐에 따라 달라질겁니다. 100메가 짜리를 파싱해서 메모리에 들고 있는거라면 데이터 + 객체 생성 비용이 들어갈건데 설정해둔 힙사이즈까지 올라가다가 더 할당 못하면 에러나고 죽겠지요. 부분적으로 읽고 처리해서 flush 한다면 그렇게는 안될거구요.

백엔드 서버 메모리 관련 질문입니다

6개의 답변

기술 목록