GPT 요즘 느려진 이유, 알고 보니 이렇게 작동하네요

최근 GPT가 조금 더 느려진 것 같다고 느끼신 분들이 많을 텐데요. 사실 이 속도 저하에는 생각보다 복잡한 이유가 있었습니다. 초기 ChatGPT에는 지금처럼 많은 백엔드 연산이 필요하지 않았을 가능성이 큰데, 최근 구조상 여러 추가적인 처리 단계들이 생겼습니다. 악의적인 사용자 차단 목적으로 turnstile proof-of-work 같은 것들이 도입되어 있었고, 이를 처리하는 데 많은 cpu 시간이 소요되고 있었습니다.

제가 다른 분들 깃헙 저장소에서 확인했는데, realasfngl의 ChatGPT API 래퍼처럼 여러 가지 구조적 변화가 이루어졌고, 최소 구현만으로는 제대로 된 응답을 받기 힘든 구조로 바뀐 것 같습니다. 결과적으로 GPT가 더 느려집니다. (realasfngl/ChatGPT | DeepWiki)

이처럼 ChatGPT의 요구 사양은 점점 더 복잡해지고 있으며, 이러한 윤리적 기술적 배경을 알게 되면 최근의 속도 저하가 왜 일어났는지 이해하였습니다.

그래서! 오늘은 ChatGPT를 조금 더 효율적으로 사용하려고 몇 가지 시도를 해보았습니다. 사실, 시간도 부족한데 해킹은 너무 많은 리소스랑 시간이 필요하다는 판단에 ChatGPT의 채팅 창에서 SSE(Server-Sent Events) 부분만 떼와서 마크다운 처리를 해보았습니다. 처음엔 이 부분을 제대로 파악하는데 이벤트 데이터만 한참 동안 봤습니다.

어차피 \n\n 두 번 개행 단위로 마크다운을 처리하면 불완전한 마크다운을 여러번 처리할 필요가 없다는 점을 깨닫게 되었습니다.

오랜만에 시원하게 풀어냈네요. 아마 조금 더 꾸미고, 최적화 거치면 완성도 있는 확장 프로그램이 될 것 같습니다.

다른 모델도 추가하면 좋겠죠? 파비콘에 사용한 로고는 히어로즈 오브 더 스톰 (시공의 폭풍) 변종 로고입니다. 혹시나 궁금한 분들이 있을까 싶어서 ..