[HttpURLConnection] 대규모 데이터 작업 시 I/O작업이 길어 응답이 이루어지지 않습니다.

Question

안녕하세요. HttpURLConnection 관련하여 질문드립니다.개발간 2100건의 데이터만 가지고 개발을 완료하였습니다. 문제는 400만건의 데이터를 가지고 사용하였을때 발생하였습니다.브라우져로 서버에 해당 api 로드시 92분 작업 후 {success:true}라는 값을 반환합니다.문제는 개발중인 관리기에서 HttpURLConnection로 호출시 응답을 찾지 못하여, 무한 돌고 있습니다.(setReadTimeout(0)으로 줬을 시 - 에러반환 조차 안하고 계속 찾고 있습니다.) //(2100건은 금방진행되어 정상적동 됩니다. 400만건 시 응답을 못찾습니다.)하지만, api엔진 로그 확인 시 정상적인 호출 및 작업 후 반환은 하고 있습니다.아래는 api커넥터 부분입니다.private String request(String urlStr) { StringBuilder html &#61; new StringBuilder(); HttpURLConnection conn &#61; null; try { URL url &#61; new URL(urlStr); conn &#61; (HttpURLConnection) url.openConnection(); conn.setRequestProperty(&#34;content-type&#34;, &#34;application/json&#34;); conn.setRequestMethod(&#34;GET&#34;); conn.setUseCaches(false); conn.setConnectTimeout(5000); conn.setReadTimeout(1000*60*60*2); conn.setDoInput(true); int responseCode &#61; conn.getResponseCode(); if (responseCode &#61;&#61; HttpURLConnection.HTTP_OK || responseCode &#61;&#61; HttpURLConnection.HTTP_CREATED) { BufferedReader in &#61; new BufferedReader(new InputStreamReader(conn.getInputStream())); while(true) { String line &#61; in.readLine(); if(line &#61;&#61; null) break; html.append(line); } in.close(); } }catch (IOException e) { e.printStackTrace(); }finally { if(conn!&#61;null){conn.disconnect(); } } return html.toString(); }

늦깍이이직생 · Answer

GET방식으로 브라우저에서 호출시에는 정상적인 반환값이 리턴됩니다.다만 개발중인 관리기에서 호출 시 400만건은 I/O작업이 길어 해당 응답을 못찾고 있는거 같은데 해결방안을 전혀 못찾고 있습니다.(작업이 20분 정도 되게 테스트하면 응답을 찾아 반환은 됩니다.)도움 부탁드립니다.

답정너심판자 · Answer

CPU에 I/O 블록킹을 너무 많이 점유시키시는듯.서버가 처리한 일을 끝날 때 까지 응답으로 기다리지 마시고,논블록킹 방식으로 처리해보세요.

[HttpURLConnection] 대규모 데이터 작업 시 I/O작업이 길어 응답이 이루어지지 않습니다.

2개의 답변

Q&A 목록