8코어란? 32코어란 어느정도의 컴퓨팅 파워인가요?? 그리고 jar 파일 30개 실행하는게 얼마나 컴퓨팅 능력을 소모하나요?

Question

안녕하세요 신입 자바 개발자입니다! 이번에 회사에서 프로그램 만들고 성능개선 업무 수행하면서, 말도 안되는 부분에서 성능이 빨라져서.. 이유라도 정확히 알고싶어서 여쭙고 싶습니다. 처음에 executor 라는 파일이 실행이 되고, 거기서 event.jar 파일을 command로 실행시키고, 여기서는 parallelstream 으로 쫙 처리한다음 이 실행이 끝나면 track.jar 를 command로 호출합니다. 여기서 대략 30번 반복 돌면서 센서들마다 값들을 계산하는 연산이 이루어지고, 각 연산 끝부분에서 한번 더 analysis.jar 를 command로 호출합니다. 그러면 다시 30번 정도 반복 돌면서 연산이 이루어지고, 마지막에는 파일을 생성하고 그거를 다른 폴더에 복사하는 일까지 수행한 다음 작업이 마무리됩니다. 이 프로그램이 60초에서 70초가 평균 소요되어서, 줄이려고 느린 연산이 어디인지 비효율적인 로직은 없는지, 파싱도 jsonNode로 할지 jq. 커맨드로 할지 바꿔가면서 난리를 쳐도 줄어들지 않던 시간이, 모든 코드를 하나의 jar 파일로 때려넣고 나니 15초 수준으로 시간이 줄어들었습니다. ubuntu 서버 스펙은 32코어 였구요, 그리고 처음에는 8코어에서 돌리다가 너무 느린것 같아서 32코어로 옮겼었는데 이렇게 바꾸고 나니까 8코어에서도 충분히 빠르게 작동했습니다. 그래서 질문드리고 싶습니다.. 회사에 자바 장인이 없어서 왜 이렇게 개선이 이루어졌는지 설명해줄 수 있는 분이 없어서요 ㅠ 커맨드로 jar 파일을 30개 가량 실행하고 하나의 jar에서 또다른 jar를 호출하고 하는 것이 이렇게 컴퓨팅에 부담을 주는 행위인가요??그리고 32코어랑 8코어의 연산능력은 어느정도 인건가요? 가늠이 잘 안되서요,, 제 컴퓨터 생각해보면 7코어만 되어도 그래픽 좋은 게임들 돌아가는거 보면 8코어 특히 32코어는 슈퍼컴퓨터 수준일거 같은데.. 어느 지점에서 속도들이 확 줄어든걸까요??선배님들의 지도 부탁드립니다...

defult · Answer

코어만으로는 연산능력 가늠을 못합니다.애초에 코어는 단순히 분할처리를 위한 준비된 인력숫자일 뿐이며 온전히 성능을 보장하는 요소가 아닙니다.초등학생 8명에게 수능 문제풀라고 시키는거랑 대학생 1명에게 수능문제 풀라고 시키는거랑효율이 전혀다른거랑 똑같이 일이 컴퓨터에서도 일어나는겁니다.그리고 대학생 8명 vs 대학생 8명이라도 그 집단간의 능력차이로 이미 성능은 다릅니다.더구나 깡 코어수말고도 얼마나 효율적으로 소프트웨어가 각각의 코어에 일을 분배가능한가에 의해서도 전혀다른 결과가 나옵니다.프로그램이 분배를 목적으로 만들어진게 아니면 코어수는 아무 의미없고 분배가능한 수를 넘어가는 코어가 있어도 코어만큼 성능 안올라갑니다.

현자타임 · Answer

기존 프로세스에서 파일을 읽고 실행시킬 때 가장 자원을 많이 사용했었나본데요! 그러니 각각 읽고 실행시키는 것을 한 번에 읽고 실행해서 성능이 개선이 된게 아닐까 싶은데..

olivahn · Answer

jar를 읽어들일 때 클래스 로딩이 일어나는데 이 과정이 모두 동기화되어 진행되고, 모두 I/O 작업이다 보니 CPU 개입이 거의 없을 듯 합니다

지붕뚫고높이차 · Answer

java 를 여러번 실행해서 느렸던것 같네요.

캐티 · Answer

이런 방식으로는 해결 하지 못하지 않겠나요.멀티 스레딩 접근을 하면서 스레드 세이프한 처리를 하지 않아서 상태가 안 좋은 경우도 있는데 말이어요.수퍼컴퓨터는 아니고 amd 스레드리퍼 계열 코어를 채택한 가상 서버가 아니겠나요. 한번에 64코어까지 가능해요. 특수한 용도로 cpu를 여러개 장착하기도 하는데 전력 분배가 감당 되나 .. 아무튼 이래요.

지붕뚫고높이차 · Answer

질문글을 해석하고 실행 스크립트로 나열하면 아래처럼 표현됩니다.java -jar event.jar java -jar track.jar java -jar analysis.jar java -jar track.jar java -jar analysis.jar ... 27번 반복 java -jar track.jar java -jar analysis.jar 만들어진 파일을 복사하는 스크립트 실행 이 문제를 해결하기 위해 아래처럼 스크립트를 개선시켰구요. java -jar 모든것을합친.jar 만들어진 파일을 복사하는 스크립트 실행 jar 를 실행한다는 의미는 java 먼저 실행하고 JVM 을 만든뒤 지정된 jar 안에 있는 main 메소드를 찾아 실행함을 의미합니다. JVM 를 만들고 main 메소드의 첫번째 코드를 실행하는데 드는 비용은 큰(실행시간이 큰) 작업이고 이걸 30번 이상 하면 코어수를 아무리 늘려도 성능좋은 CPU 를 사용한다고 해도 DDR 속도의 스토리지를 쓴다고 해도 1번만 JVM 을 생성하고 실행하는 작업보다 느릴 수 밖에 없습니다.쉽게 말해 프로그램을 수십번 반복적으로 실행하는 작업을 한번으로 줄여 성능을 향상시켰다고 이해하시면 됩니다.

집킨 · Answer

JVM 프로세스를 30개씩 실행시키니 상대적으로 느릴수밖에 없죠JVM도 하나의 OS 프로세스고 실행시키는데에 오버헤드가 있습니다거기다가 자바 코어의 기본 클래스들을 다 로딩시켜야하고 추가로 사용하는 서드파티가 있으면 그것도 로딩시켜야 해요또 JVM 컴포넌트를 위한 스레드들도 돌아야하구요특별한 이유가 있는게 아니라 당연히 느린겁니다

8코어란? 32코어란 어느정도의 컴퓨팅 파워인가요?? 그리고 jar 파일 30개 실행하는게 얼마나 컴퓨팅 능력을 소모하나요?

7개의 답변

기술 목록