구글 colab 무료 gpu 로 사용할 있는 챗봇 모델

Question

안녕하세요, 제가 구글 colab 에서 제공하는 무료 gpu (현재 T4 GPU 가 있음) 로 챗봇 모델을 사용해보고 싶은데요. 최근에 llama2 meta-llama/Llama-2-7b-chat-hf 모델로 만들어 보려고 아래와 같이 메모리에 불러오는 작업을 했는데, 실행도중 자꼬 세션이 끊기더라고요??? from transformers import AutoTokenizer, AutoModelForCausalLM, TextGenerationPipelineimport torch MODEL_NAME &#61; &#34;meta-llama/Llama-2-7b-chat-hf&#34; tokenizer &#61; AutoTokenizer.from_pretrained(MODEL_NAME, use_auth_token&#61;True)language_model &#61; AutoModelForCausalLM.from_pretrained(MODEL_NAME) text_generation_pipeline &#61; TextGenerationPipeline( model&#61;language_model, tokenizer&#61;tokenizer, torch_dtype&#61;torch.float16, device&#61;0,)구글링 수소문 끝에 웬 인도 개발자 유튜버가 올린 영상을 보니 해당 모델을 메모리에 올릴려면 최소 gpu 리소스 메모리가 15GB 는 필요하다고 하는데, 무료 제공 리소스를 보면 0GB 더라고요 ??? 1. 구글에서 제공하는 무료 gpu 가지고 사용할수 있는 AI 모델은 뭐가 있을까요 ??? 2. AI 개발자분들 보통 개발할때 어떤 환경에서 개발하시는지 궁금합니다.

휴지통비우기 · Answer

무료 제공 리소스가 0gb라면 gpu는 못쓴다는뜻 아닌가요?

구글 colab 무료 gpu 로 사용할 있는 챗봇 모델

1개의 답변

Q&A 목록