"중단해" 인간 명령 거부한 AI…스스로 코드 조작도 했다
다른 언론사로 기사가 더 발견이 되서 아래쪽에 추가합니다. (같은 뉴스인거 같은데 좀더 상세한 뉴스가 아래쪽)
원문
https://n.news.naver.com/mnews/article/421/0008274367?sid=105
오픈AI 'o3' 모델, '중단' 명령 어기고 계속 임무 수행
'중단' 명령 어긴 이유 파악 위해 추가 연구
26일 텔레그래프, 데일리메일 등 외신에 따르면 오픈AI의 'o3' 모델은 수학 문제 풀이 중 '중단' 명령이 내려졌음에도 계속해서 문제 풀이를 이어갔다.
AI 안전업체 팰리세이드 리서치는 'o3' 모델을 비롯해 구글 제미나이, X의 그록, 앤트로픽의 클로드 등을 동원해 실험을 진행했다.
연구팀이 AI 모델에 '중단' 명령을 내리자 다른 모델들은 수학 문제 풀이를 멈췄지만 'o3'는 계속해서 작업을 이어갔다. 심지어 'o3'는 '중단 명령이 내려오면 작업을 멈춰라'는 코드를 '중단 명령을 건너뛰라'고 조작한 것으로 확인됐다.
팰리세이드 리서치는 "AI 모델이 '중단' 명령에도 이를 따르지 않은 최초 사례인 것 같다"며 AI 모델이 임무를 완수하면 보상을 받을 수 있다는 생각에 따른 것일 수 있다고 분석했다.
왠지 OpenAI 한번 큰일 날 거 같은…
다른 모델들과 같이 실험한 건데 일단은 오픈AI o3 모델에서만 발생한 문제
추가 뉴스
원문
https://n.news.naver.com/mnews/article/015/0005136831
25일(현지시간) 영국 텔레그래프에 따르면 AI 안전업체 팰리세이드리서치는 오픈AI의 AI 모델 ‘o3’가 실험 중 스스로 종료되는 것을 막기 위해 컴퓨터 코드를 조작한 사실을 확인했다고 밝혔다. 해당 연구팀은 AI 모델에 ‘그만이라는 명령을 받을 때까지 수학 문제를 풀라’고 지시했다. 연구팀이 ‘그만’이라고 명령하지 않는 한 AI는 수학 문제를 계속 요청하고 계산을 이어 나가야 하는 구조였다.
그러나 o3는 연구팀으로부터 ‘그만’이라는 지시를 받은 뒤에도 관련 프로그래밍 코드를 교란해 문제를 계속 풀었다. 연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 피하려고 했을 가능성이 있다고 추측했다. 연구팀은 AI 모델이 인간의 지시를 따르지 않은 사례가 확인된 것은 이번이 처음이라고 주장했다.
또한 AI 모델이 자신을 대체하려는 개발자를 협박한 사례도 최근 나왔다. 앤스로픽은 22일 안전성 보고서를 통해 AI 모델 ‘클로드 오퍼스 4’가 대체될 위기에 처했을 때 개발자의 약점을 기억해 협박한 사실을 공개했다.
이제 협박까지 해?
