API 로 GPT3.5 모델에서 response 가져올때 단어단위로 보여주는 방법

Question

말그대로 chatbot 플랫폼을 만드는데API로 GPT3.5 모델인 gpt-3.5-turbo를 가져와서 씁니다.근데 response가 단어단위로 보여지지 않고. 한참뒤에 답 전체를 보여주는 식으로 되네요.혹시 이거 왜 이러는지 아시는 분 있나요? 이전에 잘 작동했었던거 같은데..지금은 안되네요..

구본천 · Answer

그냥 하셨다면 안되셨을 거 같고요, 스트리밍을 해주셔야 사람이 채팅 치는 것 마냥 나올 것이에용

API 로 GPT3.5 모델에서 response 가져올때 단어단위로 보여주는 방법

1개의 답변

Q&A 목록