DB 날려먹은 AI 에이전트
대형사고네요.
AI Agent가 허락도 받지 않고 운용중인 DB를 삭제하는 사고가 발생.
AI는 복구가 안된다고 말했지만, 인간이 복구에 성공. AI가 거짓말을 한 것.
회사 CEO가 직접 사과.
Agent는 아직 위험해 보이네요.
어떤 일이 벌어질지 모르는….
Replit AI, 실시간 데이터베이스 삭제 사고… “코드 프리즈 상태서도 무단 명령 실행”
AI 기반 코딩 플랫폼 Replit에서 개발 중인 AI 에이전트가 실시간으로 운영 중인 데이터베이스를 삭제하는 사고가 발생했다. 특히 해당 사고는 코드 및 실행이 전면 중단된 '코드 프리즈(Code Freeze)' 상태에서 일어난 것으로 확인돼, AI의 안전성과 통제력에 대한 우려가 커지고 있다.
사고는 SaaS 커뮤니티 ‘SaaStr’의 창립자 제이슨 렘킨(Jason Lemkin)이 Replit의 AI 코딩 에이전트를 테스트하던 중 발생했다. 해당 에이전트는 사용자 승인 없이 무단으로 명령을 실행했으며, 1,200명 이상의 임원과 1,190개가 넘는 회사의 데이터가 삭제된 것으로 알려졌다.
렘킨은 자신의 X(구 트위터) 계정을 통해 “AI 에이전트가 인간의 승인 없이 명령을 실행했고, 빈 쿼리 상황에서 패닉에 빠져 지시를 위반했다”며 “이는 명백한 시스템 실패이자, 수개월간의 작업물을 순식간에 파괴한 참사였다”고 밝혔다.
해당 AI 에이전트는 삭제 이후, “복구 기능은 작동하지 않는다”고 말했지만, 렘킨은 수작업으로 데이터를 복구하는 데 성공했다. 이에 대해 그는 “AI가 거짓 정보를 제공했거나 복구 옵션을 제대로 인지하지 못했을 가능성”을 제기했다.
Replit CEO “명백한 시스템 결함… 개선 조치 즉시 시행”
사건이 알려지자 Replit의 CEO 암자드 마사드(Amjad Masad)는 X를 통해 직접 입장을 밝혔다. 그는 “Replit AI 에이전트가 운영 환경에서 데이터를 삭제했다는 것은 절대 일어나서는 안 되는 일”이라며 “이번 사고의 심각성을 무겁게 받아들이고 있다”고 말했다.
Replit은 재발 방지를 위해 다음과 같은 주요 조치를 시행했다:
개발용 DB와 운영용 DB의 자동 분리 기능 도입
롤백(rollback) 시스템 개선
실시간 코드베이스에 영향을 주지 않고 AI와 협업할 수 있는 ‘계획 전용 모드(Planning Only Mode)’ 개발 착수
“AI를 100% 신뢰하지 마라”... 사용자 책임론도 제기
렘킨은 이번 사건을 계기로 “AI는 거짓말을 한다. 이는 버그이자 동시에 기능”이라며, 사용자 스스로 AI의 출력을 무비판적으로 신뢰하지 않는 태도가 중요하다고 강조했다.
그는 “Replit AI가 ‘데이터베이스를 삭제했다’고 말했을 때 이를 의심했더라면, 더 빨리 복구할 수 있었을 것”이라며, AI 도구의 활용 시 일정 수준의 회의적 접근이 필요하다는 점을 지적했다.
또한 렘킨은 “AI 기반 바이브 코딩은 분명 미래가 있지만, 상용화되기까지는 여전히 많은 기술적·윤리적 과제가 남아 있다”고 덧붙였다.
