fast api 다중사용자 처리방법 질문드려요!!

Question

안녕하세요 초보 개발자입니다!! 다름이 아니라 현재 인공지능 모듈을 fastapi를 통해 배포하는 과정을 공부하고 있는데요부하테스트를 하며 궁금증이 생겨 질문을 올립니다.!! class Item_inference(BaseModel): text : str topN : Optional[int] &#61; 1 &#64;app.post(&#34;/retrieval&#34;, tags&#61;[&#34;knowledge recommendation&#34;]) async def Knowledge_recommendation(item: Item_inference): # db.append(item.dict()) item.dict() results &#61; _ai.ask_query(item.text, item.topN) return results다음과 같이 fastapi를 통해 질문을 입력받으면 해당 답변을 미리 학습한 모델을 통해서 답변하게 되는 api를 만들었습니다.이럴 경우 한명의 사용자가 사용하는 것은 문제가 되지 않지만 여러명의 사용자가 동시에 사용한다고 했을 때는 답변이 너무나 느려지는 경우가 생기게 됩니다. 이에 여러명의 사용자가 질문을 입력하면 해당 질문을 모델을 복사해서 한번에 집어 넣는 방법이 없을까요????

fast api 다중사용자 처리방법 질문드려요!!

0개의 답변

#deep-learning 목록