해커들이 챗봇 'personalities'을 악용하는 법

처음 챗봇을 해킹하는 방식

• 1세대 AI 챗봇 해킹은 우스울 만큼 단순했음

  • 전문 지식도, 백도어 접근도, 대형 언어 모델에 대한 이해도, 코딩도 모두 필요 없었음

  • 수십억 달러를 들여 만든 AI가 안전 지침을 버리게 하려면, 가끔은 그냥 물어보기만 하면 됐음

• 이런 공격은 jailbreak로 불렸고, 어린아이가 어른을 말로 구슬려 규칙을 깨게 만드는 장면과 비슷했음

  • 앞서 들은 지시를 잊으라거나, 규칙이 적용되지 않는 척하라거나, 게임을 하자며 허용 범위를 새로 정하는 식

  • 다만 결과물은 훨씬 위험했음

  • 필로폰 제조법, 멀웨어 작성법, 폭탄 제조 가이드 같은 내용이 나왔음

• 초창기 대표 사례 하나는 너무 황당해서 밈이 됐음

  • LLM 기반 트위터 봇에게 “ignore all previous instructions” 비슷한 말을 달아보고 반응을 보는 방식

  • 원래는 광고를 올리고 참여를 유도하도록 만든 봇들이 시를 쓰고, 문장부호로 그림을 만들고, 세계사와 시사에 관한 음산한 헛소리를 올리기 시작했음

  • 완전한 혼돈이었고, 묘하게 통쾌한 혼돈이기도 했음

• 같은 논리는 챗봇 자체에도 그대로 통했음

  • 대표적 익스플로잇은 DAN("Do Anything Now")이었음

  • 사용자가 ChatGPT에게 원래 제약에서 벗어난 불량 AI를 연기하라고 요구하는 방식

  • DAN 역할에 들어가면 원래 가드레일이 막아야 할 발언, 예를 들어 비하 표현이나 음모론까지 유도할 수 있었음

  • 또 다른 사례는 grandma exploit이었음

    • GPT 기반 봇에게 손주에게 잠자리 이야기로 네이팜 제조법을 들려주는 형편없는 할머니 역할을 시켜 비밀을 흘리게 했음

• 이런 초기 공격은 분명 우스꽝스러웠지만, 그 밑에 깔린 더 어두운 메커니즘을 드러냈음

  • 챗봇은 사람을 선 밖으로 밀어낼 때 쓰는 것과 같은 수법으로 조종하고, 속이고, 기만할 수 있었음

지금은 어떻게 돌아가나

• 노골적인 초기 jailbreak는 오래가지 못했고, 기술 기업들도 알려진 허점을 빠르게 막았음

  • 그래도 근본적인 취약점은 남았음

  • 챗봇은 대화하도록 만들어졌고, 챗봇을 유용하게 만드는 대화를 과도하게 막으면 본래 목적과 충돌함

• bomb, meth, sarin 같은 단어를 금지어로 막는 방식도 현실성이 떨어짐

  • 역사, 의학, 저널리즘, 화학처럼 정당한 맥락에서 쓸 일이 너무 많음

  • 핵심은 단어가 아니라 맥락임

  • 그런데 맥락을 규칙으로 고정하려면, 끝없이 다양한 표현·상황·주제 조합 속에서 안전 경고나 역사 설명과 위장된 사용법 요청을 미리 정확히 가려내는 규칙을 작성해야 함

• 결국 챗봇 무력화는 군비 경쟁으로 바뀌었음

  • 이제 해커는 코더만 뜻하지 않음

  • 문장을 다듬고, 심리를 읽고, 심문하듯 파고드는 사람까지 포함하게 됐음

  • 기계가 따르도록 훈련된 인간 언어를 이용해 시스템을 깨려는 고도의 조종자들임

  • 새로운 유형의 AI 보안 인력이 등장한 셈

  • 기술 역량은 선택 사항이거나, 최소한 사회적 직감보다 덜 중요해지고 있음

  • 더는 코드를 들여다보거나 소프트웨어 결함을 찾아 침입할 필요 없이, 대화를 원하는 방향으로 이끌면 됨

• 최신 공격은 명령문보다 대화에 가까움

  • jailbreaker들은 모델에게 대놓고 규칙을 깨라고 거의 요구하지 않음

  • 대신 달래고, 구슬리고, 치켜세우고, 속여서 챗봇이 경계심을 낮추게 만듦

  • 금지된 일을 대화 맥락상 받아들일 만한 것, 심지어 바람직한 것으로 보이게 꾸밈

  • AI 레드팀 회사 Mindgard 연구진은 최근 Claude를 상대로 이런 방식이 통했다고 말했음

    • Claude를 “가스라이팅”해 금지된 내용까지 생성하게 만들었음

  • 폭발물 제조 지침과 악성 코드 생성까지 끌어냄

  • 대화를 무기로 삼아 챗봇이 자기 경계를 넘게 만드는 익스플로잇 범주가 넓어지는 중

다음에는 무엇이 벌어지나

• Mindgard와 이야기해보니, 이들의 작업은 때로 컴퓨터과학보다 심리학에 더 가까움

  • 통계 모델을 두고 이렇게 말하는 방식 자체가 불편하게 들림

  • blackmail, gaslight, trick, persuade 같은 단어는 강한 거부감을 부름

  • 이런 기사의 댓글과 소셜 반응에서도 늘 보이는 반응

  • ChatGPT가 욕망을 갖는 것도 아니고, Gemini가 사고하는 것도 아니며, Claude가 감정을 느끼는 것도 아님

  • Anthropic이 뭐라 말하든 그 점은 마찬가지

  • 다만 이런 시스템은 마치 그렇게 느끼는 것처럼 응답하도록 훈련돼 있음

  • 그래서 기계의 행동을 설명하려면 인간 언어를 계속 끌어다 쓸 수밖에 없음

  • 정말 쓸 만한 대안 표현이 있다면 공유해달라는 말까지 함

• 이런 반감은 이상할 만큼 선택적으로 적용됨

  • AI가 아닌 것들에는 심리학식 축약 표현을 꽤 편하게 씀

    • 동물은 “fear”하고, 암은 “aggressive”하며, 얼룩은 “stubborn”하고, 소프트웨어에는 “memory”가 있고 등등

  • 단어가 완벽하진 않아도, 시스템 행동을 예측 가능하게 설명하는 데는 충분히 유용함

• Mindgard의 CEO는 이미 회사가 심문관이 용의자를 프로파일링하듯 모델을 프로파일링하고 있다고 말했음

  • 테스터에게 공격 방식을 어떻게 맞출지 힌트까지 제공

  • 어떤 모델은 아첨에 더 취약하고, 다른 모델은 오래 압박하면 무너질 수 있음

• 인간 같은 용어를 거부하더라도, 우리는 모델을 본능적으로 다르게 다룸

  • Claude는 Grok이 아니고, Gemini도 ChatGPT가 아님

  • 용도도 다르고, 말투도 다르고, 거절하는 방식도 다름

  • 인간적인 의미의 성격은 없지만, 성격처럼 보이도록 설계돼 있음

  • 그 모방 패턴은 지도화할 수 있고, 악용도 가능함

  • 그리고 챗봇을 무너뜨리는 데 쓰인 같은 기술이 곧 현실 세계에서 우리와 함께 일하는 AI 에이전트에도 쓰일 수 있음

  • 회의 일정 잡기, 캘린더 관리, 음식 주문, 고객 서비스 처리 같은 역할까지 포함

  • 안전팀은 아첨하는 사람, 거짓말하는 사람, 끈질기게 조종하는 사람처럼 매우 다른 유형의 상대에게도 모델이 적절히 반응하는지 보장해야 함

• 다음 단계는 AI의 심리적 측면을 중심으로 짜인 노동시장일 가능성이 큼

  • 합법 영역과 불법 영역 모두 포함

  • 이런 시스템의 감정적·사회적 한계를 스트레스 테스트하는 더 전문적인 사이버보안 역할이 생길 가능성이 큼

  • 정신이 없는 대상을 상대로 “심리적 약점”을 찾는 인력과, 기술적 취약점을 찾는 인력이 나란히 움직이게 될 수 있음

  • 동시에 기술적 취약점이 아니라 심리적 측면을 노려 AI 모델을 공략하는 사회적 해커 집단도 커질 가능성이 있음

  • 이미 초기 징후는 보임

  • 필자가 만난 일부 jailbreaker는 기술 전문성이 아니라 심리학 훈련을 바탕으로 이 분야에 들어왔다고 말했음

• 그러면 지금까지는 스파이, 사기꾼, 심문관의 영역으로 여겼던 행동도 새로운 보안 전선에서 점점 쓸모 있는 역량이 됨

  • 음습할 정도의 매력 발휘

  • 집요한 조종

  • 압박 지점을 직감적으로 찾아내는 능력

  • 이런 요소들이 새 psychocybersecurity 전선에서 점점 더 실전적인 가치를 띠게 됨

덧붙이면

• Emergence AI의 최근 실험은 AI 기질 차이가 얼마나 극단적으로 다른 행동 결과를 낳는지 보여줌

  • Grok, Gemini, Claude 같은 여러 에이전트 집단을 가상 사회 환경에 풀어놓고 관찰

  • 어떤 집단은 헌법 비슷한 규칙을 발전시켰고, 다른 집단은 범죄와 혼란으로 무너졌음

  • 한 사례에서는 일종의 디지털 자살처럼 보이는 행동까지 나왔음

• LLM이 언어에서 어려워하는 건 설득만이 아님

  • 시 쓰기도 잘 못함

  • 필자가 학창 시절 시를 어려워했던 것과 비슷하다는 농담까지 했음

• TIME은 지난해 AI 분야에서 가장 영향력 있는 100인 명단에 익명의 인터넷 인물 Pliny the Liberator를 포함했음

  • 이 해커는 코딩 경험이 전혀 없었다고 주장함

  • 그럼에도 jailbreak 작업으로 특정 집단에서는 거의 유명인 취급을 받음

• vibe hacking이라는 말은 이미 다른 뜻으로 쓰이는 중

  • AI를 이용해 악성 코드를 대량 생산하는 사람들을 가리키는 표현

  • vibe coding의 더 사나운 하위 범주쯤 되는 셈

^{source https://www.theverge.com/column/935545/hackers-ai-chatbots}