GPT-5.5 Codex의 reasoning-token 클러스터링이 성능 저하를 유발할 수 있음

요약

Codex token_count 메타데이터에서 집계 패턴을 발견했다. gpt-5.5 응답이 유독 reasoning_output_tokens = 516에 정확히 많이 몰리며, 1034와 1552 부근에서도 추가적인 고정 경계 스파이크가 나타난다.

이 현상은 특정 모델에만 나타나는 것으로 보이며, 전반적인 reasoning token 사용 강도가 낮아진 시점과도 겹친다. 복잡하거나 중요한 Codex 작업에서 성능이 저하된 이유를 설명하는 단서일 수 있다.

이는 #29353과 관련이 있다. 해당 이슈에서는 gpt-5.5 실행이 reasoning token 516개에서 정확히 끝났을 때 잘못된 답을 반환하는 작업 단위 재현 사례를 보고했다. 이 이슈는 2월부터 6월까지 더 큰 기간의 집계 근거를 추가한다.

이것이 숨겨진 chain-of-thought 잘림을 증명한다고 주장하는 것은 아니다. 더 좁은 주장은 Codex 텔레메트리에서 GPT-5.5에만 나타나는 고정 token 클러스터링 이상 현상이 보이며, 이것이 임계값 기반 reasoning budget 동작과 일관되어 보인다는 것이다.

환경

• 제품: Codex

• 가장 관련성이 큰 모델: gpt-5.5

• 데이터 소스: Codex token_count 메타데이터

• 분석 기간: 2026년 2월 1일-6월 27일 UTC

• 관련 이슈: gpt-5.5 xhigh sometimes short-circuits with reasoning_output_tokens=516 and wrong final_answer in Codex Desktop

근거

모델별 결과:

월별 exact-516 클러스터링은 급격히 증가했다.

동시에 전반적인 reasoning token 사용 강도는 감소했다.

왜 수상해 보이는가

이 이상 현상은 단순히 reasoning token 사용량이 전반적으로 늘어난 결과가 아니다. 평균과 P90 reasoning token 사용 강도는 2-4월에서 5-6월로 가며 낮아졌지만, exact-516 클러스터링은 급격히 증가했다.

클러스터링이 모델 전반에 고르게 분포한 것도 아니다. gpt-5.5는 전체 응답의 19.3%에 불과하지만 exact-516 이벤트의 82.0%를 차지한다. 이 모델의 exact-516 / >=516 비율은 non-GPT-5.5 기준선보다 약 33.6배 높다.

고정값 자체도 눈에 띈다. 516, 1034, 1552는 자연스럽게 변하는 reasoning token 분포라기보다 반복되는 임계 경계처럼 보인다.

기대 동작

복잡한 Codex 작업의 reasoning token 수는 작업 복잡도에 따라 자연스럽게 달라져야 하며, 한 모델 계열에서 특정 고정값에 과도하게 몰려서는 안 된다.

실제 동작

gpt-5.5 응답은 정확히 516 reasoning token에 강하게 몰리며, 1034와 1552 부근에서도 관련 스파이크가 나타난다. 이 패턴은 여러 다른 모델에서는 훨씬 약하거나 나타나지 않는다.

요청

Codex 팀에서 gpt-5.5에 응답이 516/1034/1552 reasoning token 부근에서 종료되게 만드는 reasoning budget, routing, truncation, fallback, scheduler 동작이 있는지 조사해 줄 수 있을까?

이것이 기대된 동작이라면, 정확히 516이 정상적인 중단 지점인지, budget cap인지, 성능이 낮아진 tier인지, 또는 다른 내부 임계값인지 알 수 있으면 도움이 될 것이다.

유용한 내부 검증 항목:

1. 모델별 reasoning_output_tokens가 포함된 token_count 이벤트를 조회한다.

2. 0, 516, 1034, 1552의 exact-value count를 비교한다.

3. 모델과 일자별로 count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516)을 계산한다.

4. gpt-5.5를 gpt-5.2, gpt-5.4, Codex 전용 variant와 비교한다.

5. GPT-5.2와 GPT-5.5에서 조건을 맞춘 복잡한 작업을 다시 실행하고 quality eval을 수행한다. 특히 exact-516 응답과 더 길게 reasoning한 응답을 분리해 비교한다.

^{source https://github.com/openai/codex/issues/30364}

HN에서는 GPT-5.5 Codex의 품질 저하를 단순한 체감 불만으로 넘기기 어렵다는 반응이 많았다. 쟁점은 “모델이 예전보다 못해졌다”는 일반론이 아니라, reasoning token이 516 같은 고정값에 몰리고 그 실행에서 복잡한 문제를 틀리는 사례가 함께 나왔다는 데 있다. 한 사용자는 같은 퍼즐 프롬프트를 반복했을 때 516 토큰에서 멈춘 실행은 모두 오답이었고, 수천 개의 사고 토큰을 쓴 실행은 정답을 냈다고 했다.

실무 경험담도 이 문제를 코딩 에이전트의 신뢰성과 연결했다. 연초에는 Codex의 꼼꼼한 구현에 기대던 사용자들이 최근에는 xhigh 설정에서도 어설픈 구현이 간헐적으로 나온다고 말했다. GPT-5.2나 5.3 시절이 더 안정적이었다는 기억, Codex 데스크톱 앱에서도 같은 스파이크가 보인다는 관찰, 웹 환경에서 reasoning 결과를 따로 얻어 Codex에 넘기는 우회 방식도 언급됐다.

원인에 대해서는 비용 절감이나 처리량 최적화를 의심하는 시각과, 의도적 성능 저하보다는 추론 엔진이나 에이전트 하네스의 결함, 설정 문제에 가깝다는 해석이 함께 나왔다. 512 단위 배치나 적응형 사고 예산 같은 구현 경계값이 겉으로 드러난 것 아니냐는 추정도 있었다. 반대로 비결정적 시스템의 품질 변화를 체감만으로 단정하면 실제 버그와 막연한 불만을 구분하기 어렵다는 지적도 있었다.

개발자가 확인해야 할 것은 모델명이나 요금제보다 실제 작업에서의 실패 양상이다. 중요한 코딩 작업이라면 토큰 사용 패턴, 반복 실행 결과, 특정 경계값과 오답의 상관관계를 함께 봐야 한다. 한 공급자나 한 실행 환경에만 맡기기보다 같은 프롬프트를 반복해 보고, 다른 모델이나 하네스와 비교하며, 별도 검토 단계로 결과를 확인하는 편이 현실적인 판단 기준이 된다.