기술의 발전이 무섭도록 빠르네요 ㄷㄷㄷ

chatGPT가 처음 나올때만해도 이게 너무 사양이 높아서 개인들에게 상용화될꺼라곤 생각도 안했는데..

점점 파라미터 수가 적어져도 성능이 좋아지더니 천재들이 양자화라는 개념도 가져와서 요구사양을 확 낮춰버리네요

llama3 7B짜리 4bit 양자화 모델을 로컬에서 돌리는데 너무 쾌적하게 돌아가고 말도 엄청 잘해유 ㄷㄷㄷ

정말 세상엔 천재들이 많고 기술의 발전속도는 무섭도록 빠르네여