검색엔진 설계

Question

안녕하세요, 회사에 입사한지 3주 정도 된 신입 개발자입니다. 회사 대표님께서 프로젝트로 검색 알고리즘을 만드는 업무를 주셨는데 너무 막막하네요. 네이버 검색처럼 오타도 어느 정도 보정이 되어야 하고 (현디백호점 -> 현대백화점) 단어의 배치가 바뀌어도 어느 정도 검색이 되어야 한다고 하시는데 (무역센터 현대백화점 -> 현대백화점 무역센터점) 어디서부터 시작할지 막막합니다. 우선 루신 편집거리 등등을 알아봤는데 오타와 역배치 모두 가능하게 하는건 어디서부터 시작해야할지 도움을 주시면 감사하겠습니다!

캐티 · Answer

이런 경우 초성을 분리하여 처리하는 방법이 있습니다. 초성 검색이라고 합니다. 전화번호를 찾는데 ㄱㅁㅁ 라고 한다면 김모모를 찾을 것입니다.그 밖에 여러가지 처리 기법이 있지만 앞서 말한 방법만 하여도 아주 우수할 것입니다.

Dierslair · Answer

엥... 신입 개발자한테 시키는 업무가 맞나요...; 보통 그런 알고리즘을 개발하지 않고 이미 개발된 기능을 가져다 쓰는 게 가장 깔끔합니다ElasticSearch 오타교정

bodyMist · Answer

엘라스틱 서치를 가져다 쓰는게 제일 좋긴 할 텐데 이게 알아야 할 내용이 한 둘이 아닙니다. 기본적으로 검색엔진이 신입에게 가야 할 업무가 아니라 걱정되네요. 게다가 연관검색 같은 조금 더 고급 기능을 사용하려면 ES 유료버전을 결제해야하고 이게 연당 천 단위로 청구됩니다. 무료버전으로 얼마나 요구사항을 커버할 수 있는지 알아보시고, 여건이 안된다고 하면 성능이나 퀄리티가 좋지 않더라도 직접 구현하는 방법으로 가야할 듯 합니다.

Clickin · Answer

대표님이 혹시 검색엔진 그까이거 SQL where에 연관관계만 좀 넣어주면 끝나는 거 아냐? 같은 정도로 생각하시는 거 아닌가요신입 개발자가 어느정도까지 생각해볼 수 있겠는지를 알아보는 용도신지 아님 원하는 것만 명확하고 얼마나 어려운지에 대해서는 안적어놓으셔서 그런가 알 수가 없는데만약 진짜로 검색엔진 개발 공수가 측정이 안되는 대표님이면 적신호라고 봅니다

Constant · Answer

윗분들이 말씀하신대로 Elastic Search 쓰면 될 듯 하네요. 좀 좋은 회사라면 신입한테 시킬만한 주제이긴 할 듯 해보이는데 "대표"라고 해서... 여튼 신입이 엘라스틱서치를 직접 구축한다는게 쉬운 일은 아닙니다.

초무쿤 · Answer

루씬이랑 리번스타인 알고리즘까지는 찾아보셨네요.(루신은 한글 형태소 분석기가 있을텐데요.. 리번스타인알고리즘으로 한글 오타까지 검색어에서 추적하는거 쉽지 않을거 같은데..)ELK까지 가져다 쓰는게 제일 나을거 같긴 한데..근데 신입한테 네이버를 예로 들면서 그런 지능형 검색기능을 요구하는건 좀 이상한데요.ㅎㅎ; 이게 맞나 싶은데..

캐티 · Answer

뭐든 오냐오냐 하다가 개밥신세되면 감당이 가능하시겠나요.초성 검색 정도만 제공하고 엘라스틱 서치로 보완하는 것은 연차가 오르고 보수도 오르고 적절하게 만족 가능한 때에 하심이 좋아보 입니다.이것은 사회생활이라는 것도 관계가 깊을 것이고 이제 막 시작하는데 지금부터 조금씩 갈려 나가는 것은 너무 안일한것이지 않겠나요.

영군 · Answer

보통 프로젝트 할때 검색 전문 업체를 활용하였습니다. 보통 데이터 뿐만 아니고 파일 내용도 색인하는 경우가 많습니다.신경 써야 하는 내용이 정말 많습니다.fulltext 서치 되는건 당연하지만 데이터 양이 많으면 디스크 용량도 장난 아닙니다.정말 검색엔진 필요하시면 전문 검색엔진 업체 활용해보세요~

검색엔진 설계

8개의 답변

기술 목록