ai에 토크나이저를 때리면 좋나요

토크나이저는 입력한 문장을 코드나 부호처럼 변환해주는 것이어요.

예컨데 “하빈다” 같은 단어처럼 약간 잘못 입력되어도 같은 단어라고 인식할 수 있겠쩌.

이렇다 하더라도 부호는 단어를 변경한 거여서 그림 문자에서 인식하는 방식에 큰 차이가 있어요. 이렇게 되면 이케 되어요.

Aoccdrnig to a rseearch taem at Cmabrigde Uinervtisy, it deosn't mttaer in waht oredr the ltteers in a wrod are, the olny iprmoatnt tihng is taht the frist and lsat ltteer be in the rghit pclae. The rset can be a taotl mses and you can sitll raed it wouthit a porbelm. Tihs is bcuseae the huamn mnid deos not raed ervey lteter by istlef, but the wrod as a wlohe.

캠릿브지 대학의 연결구과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배되열어 있지는 중요하지 않고, 첫 번째와 마지막 글자가 올바른 위치에 있는 것이 중다요하고 한다. 나머지 글들자은 완전히 엉진망창의 순서로 되어 있라을지도 당신은 아무 문제 없이 이것을 읽을 수 있다. 왜하냐면, 인간의 두뇌는 모든 글자를 하하나나 읽는 것이 아니라 단어 하나를 전체로 인하식기 때이문다.

위에 긴 내용에서 잘못 되어진 키워드들 확인하고 "원래키워드: 고친키워드" 목록을 나열하면 어떻게 될까

* 연결구과: 연결조직

* 글자가: 글자가

* 배되열어: 배열되어

* 중다요하고: 중요하고

* 엉진망창의: 엉망진창의

* 때이문다: 때입니다

GPT 3.5 이거 바바요.

• 캠릿브지: 캠브리지

• 연결구과: 연구결과

• 배되열어: 배열되어

• 중다요하고: 중요하다고

• 글들자은: 글자들은

• 엉진망창: 엉망진창

• 있라을지도: 있을지도

• 하하나나: 하나하나

• 인하식기: 인식하기

• 때이문다: 때문입니다

빙 챗봇.

위에 응답처럼 결과적으로 학습 량이 늘어나면 해결될 수도 있지만 컴퓨팅 퍼포먼스가 현저하게 터지고, 실질적으로 위에 연구결과에 핵심 내용을 이미 학습해버리는 편법을 사용하는 것도 되어요. 이럼에도 학습된 데이터에 이력이 공개되지 않아서 알 수가 없겠지만 사실 원리는 이러하여서 의심할 여지가 없쩌.

이미지 상에서 글자를 인식한다면 컴퓨팅 분량이 늘어나겠지만 지금에 컴퓨터에서 이 정도에 계산은 무난할 거라고 전망합니다. OCR도 덤으로 얻는 것이고 학습된 이미징 내역을 재활용하는데 좋겠쩌. 이럼 토크나이저를 손 보아야 하나요.