text generation web UI를 이용하여 생성형 ai 사용할때 원래 이렇게 느린지 문의

Question

안녕하세요 최근 생성형 ai에 관심을 갖게 되었습니다.관련하여 쉽게할수있는 text generation web UI 이용하여 진행중인데모델은 upstage/SOLAR-10.7B-v1.0 <- 했습니다모델 설정에서 gpu메모리 설정은 최대 2040으로 했습니다제컴퓨터 사양은 I3 8100 4Core이고 , 램 8G, 그래픽카드는 GTX 1050입니다chat에 how old are you 검색했는데1시간째 답변중입니다 본인이 4살이라고 하고 2020년도에 만들어졌다 이후 계속 답변 중입니다원래 이렇게 느린가요 제가 모델셋팅을 잘못한걸까요만약 해당 모델을 제대로 쓰려면 그래픽카드 어느정도 수준을 맞쳐야할까요감사합니다.

MungGaeDev · Answer

1050은 llm모델을 테스트 하기도 버겁습니다. 같은 모델(로 짐작)을 4090에서 돌리는 글입니다.https://steemit.com/hive-192808/@wonsama/llm-solar-10-7b

킁킁탐정 · Answer

명시하신 사양으로는 LLM 모델 구동이 불가능한 수준입니다.빠르고 편리하게 하고 싶으면 과거 3090를 싸게 구매하거나 4080이상 가능하면 4090으로 가는게 좋습니다.무조건 그래픽카드의 VRAM이 많아야 합니다.추가로 시스템 기본 램도 32GB 이상, 모델에 따라 64GB까지 고려해보셔야 하며 거대한 모델 파일 크기로 인해디스크 I/O 속도가 높을 필요가 있습니다.한마디로 표현하면 LLM = 돈놀음 이나 다름 없습니다.OpenAI 같은곳에서 비용을 지불하고 API로 사용하는게 오히려 싸게 먹힐겁니다.

text generation web UI를 이용하여 생성형 ai 사용할때 원래 이렇게 느린지 문의

2개의 답변

Q&A 목록