HADOOP HDFS MAPREDUCE 질문!! (꼭 부탁드려요!!)

Question

맵리듀스 프로그램으로 200개의 node가 있는 cluster에서 encyclopedia 와 같은 큰 파일을 넣으려하는데 만약 100개의 map task 로 split 되고 여러개의 Reduce task 가 있을시, 대부분의 map tasks들은 비슷하거나 같은 byte를 process 하나요?

allinux · Answer

map의 분할크기나 hdfs 의 블럭크기등은 모두 설정이 가능합니다.현재 2.x 의 hdfs 의 디폴트 크기는 128메가(1.x버전은 64메가) 입니다.만약 설정을 커스터마이징 하지 않았다면 128메가 단위로 split 되고 수행될겁니다.하지만 hdfs 블럭크기(128메가)는 그대로 두고 map split 크기를 256메가로 주었다면 mapper 하나가 hdfs 블럭 2개의 분량을 처리합니다.

Runner77825 · Answer

너무 감사해요 그렇다면 map task 의 수는 default 로는 Block size 단위로 수행되는데 커스터마이징할시에는 mapper 가 두개의 hdfs block 분량도 실행가능하다는거네요!추가적으로 헷갈리는게 있는데요, Map task의 수가 Node 수보다 적은게 parallel한 계산에 더 좋을 것 같은데 처리할 당시에는 map task와 노드 수가 1:1 관계인것같은데... map task 수와 노드, 그리고 running map task 의 수는 어떤 관계인가요?

Runner77825 · Answer

If you execute a word count Map Reduce program on a large repository of text data such as a copy of the English Wikipedia on a 200 node cluster, and you use 100 map tasks and multiple reduce tasks, do you expect most of the map tasks to process about the same number of bytes? 이게 질문인데 .. 너무 헷갈려서요!

돈까스 · Answer

input split이 동일한 사이즈로 생기는지는 입력파일의 포맷과 개수에 따라 다릅니다.일단 스플릿이 가능하지 않은 파일 포맷인 경우 기본적으로는 1개의 입력 파일을 한 태스크가 처리하게 됩니다.블럭단위로 스플릿이 가능하다면, 지정된 설정값에 의해서 하나의 파일을 다수의 맵 태스크가 분할해서 처리할 수 있습니다.물론 기본값이 그렇고요, 구현에 따라서 한 태스크가 여러 파일을 처리게 할 수도 있습니다. 대부분의 map tasks들은 비슷하거나 같은 byte를 process 하나요? split이 안되는 파일 포맷이라면, (일반적인 text파일), 입력 파일크게 분포에 따라 결정되겠죠.split이 되는 단일 파일이라면, 100개 태스크는 거의 균일한 크기를 가질 것입니다. (99개는 동일하고, 1개는 작겠죠)두가지가 섞여 있다면, 어떻게 될지는 생각해보시고요. 추가적으로 헷갈리는게 있는데요, Map task의 수가 Node 수보다 적은게 parallel한 계산에 더 좋을 것 같은데 io bound(disk or network)인지 cpu bound인지에 따라 다릅니다만, 자원이 허용하는 한 task 수가 적은 것보다는 많은 쪽이 전체 처리용량을 늘릴 수 있어서 좋습니다. 물론 태스크를 실행하기 위해 jvm 구동시간이라든가 작업을 분배하고 취합하는 오버헤드 등을 고려해야 하기 때문에 어느 수준 이상으로 태스크 수를 늘리면 성능 향상이 없거나 저하될수는 있습니다. 처리할 당시에는 map task와 노드 수가 1:1 관계인것같은데... map task 수와 노드, 그리고 running map task 의 수는 어떤 관계인가요? map task 수는 해당 작업을 task 단위로 분할한 개수이고요, running map task 수는 그 중에서 현재 실행 중인 개수입니다. 노드는 클러스터의 단위 서버를 말하고요. 하나의 노드에서 복수의 task를 동시에 실행할 수 있습니다. map task와 노드 수가 1:1이라고 하시는 것은 잘못 알고 계신 것이고요, 노드 하나에 여러개의 태스크가 동시에 실행될 수 있습니다. 노드 하나에서 실행할 수 있는 태스크 수는 코어 개수, 메모리 용량에 의해서 결정됩니다. 간단하게 설명하면 16코어 512GB 노드에서는 코어 관점에서는 16개를 넘는 태스크가 동시에 실행되면 효율이 떨어질 것이고요, 메모리 관점에서는 한 태스크가 32GB 를 넘게 메모리를 사용하면 OOM 이 생기거나 스왑을 끌어오면서 성능저하가 발생할 수 있기 때문에 그보다 적은 개수로 실행되어야 하죠. Task 수의 최적값은 경험적으로/실험적으로 대략 조정해서 적당한 값을 결정하고요. 다양한 변수들이 들어가기 때문에 완벽한 값을 찾기는 어렵습니다.

Runner77825 · Answer

정말 너무 감사해요 !!! ㅎㅎㅎㅎ그래서 optimization이야기도 나온거군요!두가지가 섞여 있다면, task들이 동일한 size도 있겠지만 byte가 다른 data를 프로세스할 것 같아요! 맞나요? 그리구 99개는 동일하고, 1개는 작은 이유는 ... 뭔가요?

돈까스 · Answer

제가 정확하게 말하지 않았네요. 항상 작은 건 아니고, 블록 사이즈의 배수로 파일 크기가 정확이 떨어지지 않기 때문에 대부분 작게 된다고 표현하는게 맞을 것 같습니다.블럭 사이즈가 보통 64MB, 128MB, ... 그정도 크기이고, 압축을 하는 경우가 많기 때문에 파일 크기가 블럭사이즈에 정확히 맞는 크기로 떨어지는 경우는 거의 없긴 합니다만, 그런 경우가 완전히 없는 건 아니겠죠.그렇기 때문에 마지막 태스크는 정확히 블럭 사이즈만큼 되기보다는 대부분의 경우 블럭 사이즈보다 적은 크기를 갖게 됩니다 라고 표현해야 맞겠습니다.

Runner77825 · Answer

아 이해가 되었어요 정말 감사합니다!

HADOOP HDFS MAPREDUCE 질문!! (꼭 부탁드려요!!)

7개의 답변

Q&A 목록