OpenAI 임베딩 API를 활용한 텍스트 파일 임베딩 시 문장 연속성 유지 문제 질문

Question

안녕하세요.OpenAI의 임베딩 API를 사용하여 텍스트 파일을 임베딩하고 있습니다. 기본적으로는 파일의 텍스트 내용을 불러와서 특정한 워드 수로 자르고 임베딩하는 작업을 진행 중입니다.현재 워드 수로만 임베딩하는 경우에 문장의 연속성이 유지되지 않는 문제가 발생하고 있습니다. 위의 문제를 해결할 방법 공유좀 부탁드려요.

한안아 · Answer

데이터 오버랩으로 일단은 해결

OpenAI 임베딩 API를 활용한 텍스트 파일 임베딩 시 문장 연속성 유지 문제 질문

1개의 답변

기술 목록