한번에 받은 대량의 데이터를 걸러내는 방법에 관련해서 질문드려요

Question

면접 질문으로 받았는데 제대로 된 답변을 하지 못하여, 질문드립니다.질문은, 한번에 수억 건의 String 데이터를 요청 받았을 때, 그 중에 중복된 String 문자열이 있다면 해당 문자열을 걸러내는 방법에 관한 질문이였습니다.이에 대한 답변으로 1. map을 이용해서 String을 key값으로 value를 count로 해서 2개 이상 누적된 key값을 걸러낸다set을 이용해서, 문자열을 set에 넣기전에, set에 이미 들어가있는 문자열의 경우에 걸러낸다.두가지 답변을 드렸는데,데이터가 수억 건일 경우에, map과 set 모두 용량 문제가 발생할것인데 어떻게 해결할 것인지, 다른 방법은 없는지에 대하여답변을 하지 못하였습니다.위의 중복된 문자열을 걸러내는 것과 관련하여 어떤 좋은 방법이 있을까요??

manijang2 · Answer

저도 궁금.. 큐로 처리하는 방법 말고는.. 생각 안나네요

kenu,전독시 · Answer

Hadoop의 기본 원리가 Map Reduce입니다.이걸 분산 컴퓨팅으로 해결하는 것이죠.image from: https://www.todaysoftmag.com/article/1358/hadoop-mapreduce-deep-diving-and-tuning

톰소여 · Answer

시작 문자에 따라서 단어를 쪼개서 분석하라고 프로세스를 나누면 된다고 하려고 했는데 위에 답변이 있네요.

장독깨기 · Answer

질문의 의도를 모르겠군요.수억건이면 어케해도 메모리로는 안 됩니다. 파일이나 데이터베이스를 이용해야죠.

xml개발자 · Answer

저도 중복제거라니까 해시셋 생각뿐인데..

Clickin · Answer

꼭 자바에서 해야한다면 1brc의 접근법을 일부 참조해보는 방안도 있을 듯 합니다.https://github.com/gunnarmorling/1brchttps://news.hada.io/topic?id=12694 설명

양반후반 · Answer

질문이 하나의 요청에 수억개의 스트링이 있다는건지 동시간에 수억건의 요청이 들어온다는건지 헷갈리네요.하나의 요청이면 InputStream으로 처리 해야 메모리 문제가 없겠네요.stream으로 처리를 하면서 string을 파일 제목으로 쓰고 해당 파일명이 없는 경우에만 파일을 생성 하여 파일로 전처리 후 마지막에 파일들을 읽어들일 것 같네요.

대빵 · Answer

아마 질문의 요지는 님께서 주어진 제약조건별로 카테고리로 정리해서 답변하는걸 어떻게 하는지 보려고 했을거 같네여...즉, 예를 들면 자원이 많은 경우, 자원이 없는 경우또는 1회성으로 끝나는 경우, 계속 주기적으로 발생하는 경우메모리에서 실시간 스트리밍으로 처리해야 되는 경우, 배치로 돌려도 되는 경우 클라우드등의 비용을 충분히 사용해서 빠르게 처리해야 되는 경우, 느려도 가장 저렴하게 해야 되는 경우 등각각의 제약조건을 카테고리로 나누어 답을 했었으면 좋았을거 같습니다.

한번에 받은 대량의 데이터를 걸러내는 방법에 관련해서 질문드려요

8개의 답변

기술 목록