로컬PC에서 llm을??

몇일전 메타에서 GPT 4.0급(?) llm을 공개 했고 local설치가 가능하다란 소식을 듣고 한번 해보았습니다.

어떤 멋진 분께서 잘 정리 해놓으셔서 그대로 따라 해봤습니다.

https://pagichacha.tistory.com/287

7b 모델로 해봤는데 응답은 실시간으로 대답하는거 같네요. 성능은 한글 대화를 약간 어눌한 느낌으로 합니다.

바로 70b 모델 다운받아 실행 해봤는데 억... 0.5초마다 1글자씩 찍어서 응답하네요 ㅠ (4090 시스템도 버겁구나..)

콘솔? 로만 사용하니 갑갑해서 웹서버 로컬에 구축해서 ChatGPT처럼 구성해보자 해서 구글링좀 해봤더니

이런게 있네요????

https://github.com/open-webui/open-webui

어떤 훌륭한 분이 정리해 놓은게 있어 그대로 진행~ (WebUI 로컬 도커 실행)

https://megastorage.tistory.com/507

뭐 그냥 뚝딱 로컬에서 돌리는 chatGPT 같은게 만들어졌습니다.

놀라울 따름이네요... ㅎㅎ 서버는 우분투로 서브 놋북에 올리고 어쩌고 생각하고 있었는데..

이제 해보고 싶은게 모델을 튜닝한다던가 특정 데이터를 토큰으로 던지는게 아닌 학습을 시켜서

모델에 포함할 수 있는 방법들을 찾아보고 있는데 이제 막 찍먹해보느라 어찌 해야 하는지 하나도 모르겠네요

에헤라디야~