Hadoop의 HDFS에서 DataNode 부분 질문있습니다.

Question

안녕하세요 :-) 현재 Hadoop을 공부 중인데 인터넷 정보로 알 수 없는 부분이 있어서 질문드립니다. HDFS에서 DataNode에 관련된 것인데 특정 DataNode를 제거할 때, 그 DataNode에 있는 Block들이 유실되는 것을 방지하기 위해 다른 DataNode로 이동하게 된다고 알고 있습니다. 제가 궁금한 점은 DataNode를 제거할 때, Block을 특정 DataNode로 이동하게 할 수 있는지의 여부입니다. 검색으로도 나오지 않는 부분이라 이렇게 글을 올리게 되었습니다. 답변 부탁드립니다. 좋은 하루 보내세요 :-)

icksss · Answer

새 노드에 백업후 바라보게 만드는게 아니라.. 원래 바라보던 노드중 1개또는 n 개에 백업후 제거 하는 건가요? 후자라면 어려워 보이는데요.

오호라 · Answer

질문을 제대로 이해했는지 의문이기는 한데.. 일단.. 특정 데이터노드를 제거할때.. 블럭들이 유시되는것을 방지하기 위해.. 이동하는것이 아니라. Replication 설정에 따라.. 애초에.. 여러 데이터노드에 분산되어 있는것으로 알고 있습니다. 그리고..데이터 노드 제거..Decommission 을 이야기하시는게 맞다면.. 특정 DataNode로.. 복사본을 만들수 있냐? 라는 질문에는 불가능이라고 말씀드리고 싶네요. 혹시나.. 원본소스를 뜯어서. 한다면.. 가능할지도?? 라고 할수 있겠지만.. 기본 로직들이 있으니 거기에 맞춰서.. 처리 될거 같습니다... 그리고 굳이.. 하고 싶다면.. 슬레이브..데이터노드제거제거 하다 보면.. 2대만 남게 되고. 결국..나머지 한대로만 이동되것이니 그렇게 처리 하면 되지 않을까요??아.. 그리고. 이론상으로는.. 다른 렉에 장비가 존재한다면. Replication 3 설정 에서는. 기본적으로.. 다른 렉에 복사본을 만들어 놓기 때문에..이걸 이용해도 되지 않을까요??

Hadoop의 HDFS에서 DataNode 부분 질문있습니다.

2개의 답변

#haddop 목록