ollama qwen2.5vl 환각 질문 입니다.

Question

노트북의 3050인 경우 같은 모델, 같은 이미지, 같은 프롬프트로 정상적인 답변을 뱉는데오히려 넉넉한 3080ti는 마지막 한두줄에서 환각 증상이 있습니다.원인 아시는분 계신가요??

곰같은개발자 · Accepted Answer

비슷한 사례가 있는데 도움이 되실지 모르겠네여 작년에 컨설팅 했던 부분이 있기는 합니다만 참조만 해주시면 될것같아요개발환경 4060 운영환경 5090모델 : 비공개문제 : 개발시 같은 ai 프롬프트를 이용하여 개발 생성시 정상 이지만 운영 생성시 요청하지 않는 트러스트 및 생성 발생해결 방법 : 1. kv 캐시 및 온도값 미세설정 및 파라미터 조정2. 운영테스트 시 개발 장비와 동일한 num_gpu 값을 할당 후 테스트 3. 모델 온도 값 temperature 값을 0.1 혹은 0.2로 양쪽 고정후 테스트테스트 방법 : kv 캐시 및 온도값 평준화된 값을 기반으로 모델 변경 적용 혹은 운영 장비에도 동일 카드 교체후 테스트----추가사항----혹시 EOS 부분 문제 있을수도 있으니 Llama-3.2-Vision 이걸로 한번 모델 교체해서서 테스트 해보시는거를 추천드려요가끔 저렇게 해도 EOS 부분이 kv 캐시나 마지막 처리되는 컨텍스트 분리가 문제가 있어서 모델 교체후 해결 될수도 있었던 기억이 있네요

돌아온크리미드림 · Answer

그거는 같은 질문 같은 이미지 같은 프롬프트 넣는다해서 반드시 같은 답변 나오는건 아니라서 그렇습니다

주재주 · Answer

Floating Point나 불러올 때 사용하는 설정이 모두 동일한가요?

ollama qwen2.5vl 환각 질문 입니다.

3개의 답변

#qwen2.5vl 목록