로컬과 서비스에서 공개된 LLM 구동 시 결과 차이 관련해서 질문드립니다. (Llama2, solar)

Question

안녕하세요. LLM(Mixtral, Llama2)을 테스트 하는 과정에서 궁금한 점이 생겨서 질문드립니다.!Local 에서 테스트 한 결과와 groq.com에서 테스트 한 결과가 너무 다릅니다. groq에서 확인한 파라미터와 동일하게 적용을 했는데도, 같은 질문에 대해서 groq는 만족스러운 답변이 나오는 반면, Local에서 다운로드 한 LLM 모델은 입력한 질문 자체를 반복해서 답변하거나 원치 않는 답변을 하는 경우가 많습니다. groq 뿐만아니라, &#34;chat with llama2&#34; 같은 사이트에서도 만족스러운 답변이 나오는데, 왜 Local에서 설치한 모델은 이상한 답변이 나오는지 모르겠습니다. 원인 및 해결방안을 알고 계신분 계신가요?제가 테스트 한 코드는 아래 코드입니다. 아래는 groq의 하이퍼파라미터 세팅이고, maximum tokens, temperature, top P를 동일하게 주었습니다.

kenu,전독시 · Answer

날로 먹기에는 힘든 기술이라고 알고 있습니다. llama로컬 llama로 성공한 회사도 국내에는 아직 없구요. 제가 아직 발견을 못했을 겁니다.

로컬과 서비스에서 공개된 LLM 구동 시 결과 차이 관련해서 질문드립니다. (Llama2, solar)

1개의 답변

Q&A 목록