Pandas와 Hadoop의 차이에 대해 알고 싶습니다.

Question

회사에서 raw data 분석을 해야해서 혼자 공부 중인데,이제 시작해서 Pandas와 Hadoop의 차이가 와닿지 않습니다.라이브러리와 프레임워크의 차이, 주 언어의 차이 등등,, 뭔가 아리송하게 알 거 같고 정확히 어디에서 쓰이는지 모르겠어서 질문 리스트 남깁니다.. 저의 무지함에 너그러이 이해해주시고 ㅠㅠ 아시는 분들 지식 공유 부탁드립니다. Pandas와 Hadoop 나아가 Spark와의 차이Pandas, Hadoop 각각 주로 쓰는 실용 예시이렇게 두 가지 질문이 있어 남깁니다.답변 남겨주실 분들께 미리 감사 인사 드립니다!

ppppqqqq · Answer

마치 윈도우와 파이썬의 차이가 뭐냐는 것 같은 질문이네요Hadoop은 분산 파일시스템 + 기타 db, 클러스터링, 빅데이터 처리 등등을 포함한 솔루션입니다Pandas는 칼럼과 값들을 갖고 있는 데이터프레임이라는 자료구조를 다루기 위한 라이브러리입니다. 액셀같은거라고 보시면 됩니다.

allinux · Answer

일단 pandas 는 윗분이 적어주신대로 단일 파일에 대해 행과 열을 가진 2차원의 tabular 데이터 구조를 조작하는 라이브러리입니다.즉 엑셀과 같이 1개 파일에 대해 행과 열로 집계등을 할 수 있는 라이브러리입니다.hadoop 은 빅데이터 솔루션인데요.한가지 고민을 해보죠 많은 수의 파일로 구성된 100TB 쯤 되는 데이터들이 있습니다. 이것들을 어떤 저장장치에 적재할 수 있을까요?1TB 짜리 SSD를 100개 사다가 1TB씩 넣으면 되긴 하겠네요. 그 다음 이 파일들을 가지고 데이터 분석을 해야 합니다. 100개의 SSD로 나눠 저장한 파일들을 어떻해 분석할 수 있을까요?여기서 hadoop 의 hdfs 가 솔루션으로 등장합니다. hdfs 는 Hadoop Distributed File System 약어로 100개의 SSD를 꼭 하나의 SSD처럼 묶어줍니다.(pc 한대당 1개의 ssd가 장착되었다 할 때 100대의 pc가 필요하다는 이야깁니다.)즉 파일(오브젝트)들은 분산되어 있지만 사용자가 볼 때는 꼭 한개의 파일시스템을 사용하듯이 사용할 수 있게 해주는 솔루션입니다.그러면 빅데이터 저장도 했으니 로드해서 분석하면 됩니다. 이때 사용하는 것이 MapReduce 프레임워크입니다.그렇게 빅데이터를 저장도 분석도 할 수 있겠되었습니다만 mapreduce 기반은 단순 조회를 하려고 해도 일일이 프레임워크게 맞춰 개발해야 하기에 개발 생산성도 별로이고 중간결과를 hdfs에 저장하고 불러오는 과정으로 인해 성능도 별로였습니다.그런때에 여러가지 솔루션이 등장합니다. 대표적으로 hive 라는 dw 솔루션이 등장합니다. 이것의 장점은 SQL과 유사한 hive QL 를 사용해 질의를 하면 내부적으로 mapreduce 로 동작하게 되는 솔루션입니다.개발생산성은 좋아졌지만 mapreduce 는 배치용도 입니다. 느리다는 이야깁니다.쿼리하나 수행하면 서너시간후에 결과를 볼 수 있으니 개발하는 사람이나 일 시키는 사람이나 답답하죠.이때 등장한 것이 spark 입니다. spark 는 모든 데이터를 메모리에 로드(in memory)하고 메모리상에서 집계처리를 합니다. 중간 결과를 디스크에 저장하지 않으니 빠를 수 밖에 없습니다.즉 mapreduce 의 고질적인 문제인 reduce 작업을 위해 중간결과를 hdfs에 저장해야 되는 문제를 극복했습니다.현재는 hadoop(hdfs) &#43; spark 이거나 클라우드 저장소(s3 등) &#43; spark 구조를 많이 합니다.

Pandas와 Hadoop의 차이에 대해 알고 싶습니다.

2개의 답변

#hadoop 목록