OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
llama3.1
전체
최신순
질문하기
답변
6
하양
·
거의 2년
6.8k
0
답변 6
Llama 3.1 70b를 돌리려면 어느정도 스펙이 필요할까요?
현재 3060 pc로 8b정도 성능을 가지는 AI를 돌리고 있습니다. 단순 챗봇 기능을 넘어 추이 분석 정도 까지 생각을 하는데 8b모델은 한계가 있다는 것을 발견 하였습니다. LLM모델을 본격적으로 사용하기 위해서는 70b 모델을 돌려야 하는데 그래픽 카드 리소스가 얼마나 들지 모르겠습니다. 그래픽카드 소요를 알면 CPU와 RAM 계산이 될 것으로 보이는데 혹시 해당 정보를 아시는 분이 있을까요? 현재 환경이 클라우드를 못쓰고 로컬로 빼야하는 환
Search Bar
