spring ResultHandler, fetchsize 질문

Question

대용량 데이터 조회 시 처리방법을 조회 하니.대부분 아래와 같은 방식으로 처리하더라고요.ResultHandler를 상속받아handleResult를 구현하고sqlSession.select(&#34;ID&#34;, param, handleResult);<select id&#61;&#34;ID&#34; fetchSize&#61;&#34;1000&#34;>이렇게 구현한다고 하면, 해당 쿼리의 조회 결과가 만약 극단적으로 10만건이라고 했을 때,DB 조회 는 1번만 하고,1000건씩 10만건이될때까지 데이터를 반복해서 가져오는 걸로 알고 있는데그러면 10만건의 조회 결과를 DB가 계속 가지고 있는건지...아니면 다르게 동작하는건지... 아니면 처음부터 잘못 이해하고있는건지 궁금합니다.

장독깨기 · Accepted Answer

SQL 문을 작성해서 데이터베이스에 전송하면, 데이터베이스는 해당 데이터를 한 번에 다 조회해서 특정 저장소에 가지고 있는게 아니구요,해당 데이터를 제공할 준비를 하는 것 입니다.그리고, 실제 페치를 하면 DB 는 해당 데이터를 페치 수 만큼 제공합니다.여기까지가 데이터를 요청하는 쪽과 데이터베이스 간의 기본적인 흐름이구요.sqlSession.select(sql, param); 이렇게 하면 sqlSession은 해당 데이터를 모두 페치해서 메모리에 담은 후 반환을 합니다.이럴 경우, 데이터가 대용량일 경우 메모리가 부족하게 되겠죠.그래서, sqlSession.select(sql, param, handleResult); 이렇게 합니다.그럼, sqlSession 은 해당 데이터를 모두 페치해서 반환하는게 아니라,1000건만 페치하고 메모리에 담고 handleResult 를 호출합니다.이런 식입니다. :)

지붕뚫고높이차 · Answer

추상화(이용하기 쉽게 포장된)된스프링이나 JDBC 로 DB 동작과정을 이해하는건 어렵습니다.사용하시는 DBMS 메뉴얼을 읽어보시거나 책을 보시는게 좋을것 같네요.SQL 실행계획에 따라원하는 데이터를 데이터파일에서 (인덱스)블럭 단위로 가져와 메모리에 올려두고 (공유메모리)추가 연산으로 실제 전달할 데이터를 구분한 뒤 (필터, 조인)패치 단위로 응용프로그램에 전달합니다. (패치사이즈)그리고 응용프로그램이 원할때 까지 위 과정을 반복합니다.10만건의 데이터가 DB의 메모리에 있을 필요가 없죠.

초무쿤 · Answer

대량건 처리시 Mybatis 에서는 Cursor를 열어서 처리Cursor<T> cursor &#61; sqlSession.selectCursor(statementId, param)(대량 처리 시 cursor 처리는 어떤 라이브러리를 사용하던 필수)Cursor 로 처리하더라도 jdbc4 스펙상 driver단에서 메모리를 차지함으로 대량건 처리하면 Out Of Memory발생하므로 아래처럼 설정해서 stream cursor 로 처리해야 함.scroll Mode: FORWARD_ONLYfetch size: dbms마다 설정값이 다름 (mariadb은 Integer.MIN_VALUE)

spring ResultHandler, fetchsize 질문

3개의 답변

#jdk1.7 목록