자연어 처리 중 TF-IDF를 활용한 유사도 산출 관련 문의 드립니다.

Question

목적: 상품 X 의 설명 문서와 카테고리 A, B, C, D의 설명 문서를 비교하여 상품 X가 어느 카테고리와 가장 유사한지 찾음 TF-IDF를 활용한 방법은 아래 두 방법을 찾을 수 있었습니다.방법 1. 상품X, 카테고리 A~D 전체 로 TF-IDF 매트릭스 생성 후 코사인 유사도 계산 > 가장 높은 유사도를 가진 카테고리로 상품 X의 카테고리 라벨링방법 2. 카테고리 A~D로만 TF-IDF 매트릭스 생성 후 상품 X에서 TF-IDF내에 있는 단어를 찾아서 카테고리별 TF-IDF 값을 합해서 가장 높은 값을 가진 카테고리로 상품 X의 카테고리 라벨링 TF-IDF 매트릭스를 생성하는 대상이 두 방법에서 달라서 매트릭스의 구성이 다른데(방법1: 전체, 방법2: 카테고리만) 가장 높은 유사도(방법1) 혹은 TF-IDF 값을 합(방법2) 했을 때 라벨링 되는 결과가 같았습니다. 여러 가지 상품의 라벨링을 하려고 할 때에는 연산 속도에서 각각 상품마다 새로 TF-IDF 매트릭스를 만드는 방법1보다 미리 TF-IDF 매트릭스를 만들고 상품을 비교하는 방법2가 더 빠른 속도를 가졌습니다. 두 방법이 상품 X와 가장 유사한 카테고리를 찾는다는 점에서는 차이가 없는 것인지 궁금합니다감사합니다.

hanbit · Answer

자연어처리 공부중이신건가요 ㅎㅎ

자연어 처리 중 TF-IDF를 활용한 유사도 산출 관련 문의 드립니다.

1개의 답변

Q&A 목록