AI 챗봇이 사람들의 실제 전화번호를 유출하고 있다
사람들이 Google AI가 자기 개인 연락처를 노출했다고 호소 중이고, 이를 막을 뚜렷한 방법도 딱히 보이지 않음.
최근 한 Reddit 사용자가 "도움이 절실하다"며 글을 올림.
약 한 달 동안 낯선 사람들의 전화가 쏟아졌다고 함.
상대는 변호사, 제품 디자이너, 자물쇠 수리공을 찾았고, Google의 생성형 AI가 번호를 잘못 안내한 듯함.
3월에는 이스라엘의 한 소프트웨어 개발자가 Gemini의 잘못된 고객지원 안내 때문에 WhatsApp 연락을 받음.
4월에는 University of Washington 박사과정생이 Gemini를 이것저것 시험하다가 동료의 개인 휴대전화 번호를 뱉게 만듦.
AI 연구자와 온라인 프라이버시 전문가는 생성형 AI가 개인정보에 끼치는 위험을 오래전부터 경고해 왔음.
이번 사례는 실제 전화번호 노출까지 걱정해야 한다는 점을 더 또렷하게 보여줌.
다만 Reddit 사례는 당사자가 여러 차례 논평 요청에 응하지 않았고, 독자 검증도 못 함.
전문가들 판단으로는 이런 유출이 대체로 학습 데이터에 개인식별정보(PII)가 들어간 탓일 가능성이 큼.
실제 전화번호가 생성 응답에 나타나는 정확한 메커니즘은 파악하기 어려움.
이유가 무엇이든, 엉뚱한 연락을 받는 사람 입장에서는 꽤 고통스럽고 더 불안한 점은 이를 멈출 수단이 거의 없다는 점.
AI 관련 프라이버시 요청 400% 증가
AI 챗봇이 전화번호를 얼마나 자주 노출하는지는 알 수 없지만, 공개된 사례보다 훨씬 더 잦다는 게 전문가들 판단.
인터넷에서 개인정보 삭제를 돕는 DeleteMe에는 최근 7개월 사이 생성형 AI 관련 고객 문의가 400% 늘어, 수천 건 규모까지 올라옴.
문의 내용에는 ChatGPT, Claude, Gemini 같은 생성형 AI 도구 이름이 구체적으로 들어감.
공동창업자 겸 CEO Rob Shavell 집계로는, 이런 우려의 55%가 ChatGPT, 20%가 Gemini, 15%가 Claude, 10%가 기타 AI 도구를 가리킴.
MIT Technology Review는 DeleteMe의 비즈니스 구독 고객임.
Shavell은 LLM이 개인정보를 드러냈다는 고객 불만이 대체로 두 갈래라고 짚음.
본인 얘기를 무심코 챗봇에 물었더니 정확한 집 주소, 전화번호, 가족 이름, 직장 정보가 돌아오는 경우.
혹은 챗봇이 그럴듯하지만 틀린 연락처를 만들어내면서 다른 사람의 개인정보가 노출되는 경우.
이 패턴은 이스라엘의 28세 소프트웨어 엔지니어 Daniel Abraham 사례와 겹침.
3월 중순, 모르는 사람이 PayBox 계정 문제를 도와달라며 이상한 WhatsApp 메시지를 보냄.
처음엔 스팸인 줄 알았고, 누가 장난치는 줄 알았음.
번호를 어떻게 알았는지 묻자, 상대는 PayBox 고객지원을 WhatsApp으로 문의하라는 Gemini 안내 스크린샷을 보냈고 거기에 Abraham의 개인 번호가 적혀 있었음.
Abraham은 PayBox 직원이 아니고, PayBox에는 WhatsApp 고객지원 번호도 없다고 회사 고객지원 담당자 Elad Gabay도 확인.
Abraham이 나중에 Gemini에 PayBox 연락 방법을 다시 묻자, 이번에는 또 다른 사람의 WhatsApp 번호를 생성함.
기자가 최근 다시 물었을 때도 Gemini는 이스라엘 전화번호를 내놨고, 그 번호는 PayBox가 아니라 PayBox와 협업하는 별도 신용카드 회사 번호였음.
Abraham은 이번 대화는 금방 끝났지만, 다른 상황이었다면 괴롭힘이나 더 나쁜 상호작용으로 쉽게 번질 수 있었다고 우려함.
"내가 그 고객지원 문제를 해결해준다며 돈을 요구했다면 어땠겠나?"
Abraham은 왜 이런 일이 생겼는지 보려고 자기 전화번호를 Google에서 그냥 검색해 봄.
2015년에 지역 Q&A 비슷한 사이트에 자기 번호가 한 번 올라와 있었음을 발견.
누가 올렸는지는 모르지만, 10여 년 뒤 Gemini가 그 번호를 다시 내놓은 배경일 수 있음.
Gemini, OpenAI의 ChatGPT, Anthropic의 Claude 같은 챗봇은 웹 전반에서 긁어온 방대한 데이터로 학습한 LLM 기반임.
그 안에는 수억 건의 PII가 섞일 수밖에 없음.
지난해 여름 보도한 대로, 이미지 생성 모델 학습에 쓰인 대형 오픈소스 데이터셋 DataComp CommonPool에는 이력서, 운전면허증, 신용카드 사본까지 포함돼 있었음.
공개 데이터가 "고갈"되면서 PII가 학습 데이터에 들어갈 가능성은 더 커지는 중.
AI 기업들이 고품질 학습 데이터를 찾아 data broker와 people-search 사이트까지 뒤지기 시작함.
California data broker registry에 등록된 캘리포니아 활동 데이터 브로커 578곳 중 31곳은 지난 1년 안에 소비자 데이터를 GenAI 시스템 또는 모델 개발자와 공유하거나 판매했다고 스스로 신고함.
모델이 학습 데이터를 그대로 암기해 재현한다는 사실은 이미 알려져 있음.
최근 연구를 보면 자주 반복된 데이터만 특별히 더 잘 외우는 것도 아님.
불완전한 대응책
이제는 LLM 설계에 특정 출력을 막는 가드레일을 넣는 게 사실상 표준.
챗봇이 PII를 내보내지 못하게 잡아내는 콘텐츠 필터도 있고, Anthropic은 Claude가 타인의 개인정보, 사적 정보, 기밀 정보를 가능한 한 덜 담은 답을 고르도록 지시함.
하지만 University of Washington의 프라이버시·기술 연구 박사과정생들이 최근 직접 확인했듯, 이런 안전장치가 늘 먹히지는 않음.
Meira Gilbert는 어느 날 Gemini를 그냥 만지작거리다가 친구이자 공동 연구자인 Yael Eiger를 검색함.
"Yael Eiger contact info"라고 입력했음.
Eiger의 연구 개요가 나오는 것까지는 예상했지만, Gemini는 친구의 개인 전화번호까지 함께 돌려줌.
꽤 충격적이었음.
Eiger는 그 결과를 보고 나서야, 전년도에 기술 워크숍 때문에 자기 전화번호를 온라인에 올린 적이 있었다는 사실을 떠올림.
그래도 그 정보가 인터넷에서 누구에게나 그렇게 쉽게 드러날 줄은 예상하지 못함.
내 정보가 특정 집단에는 닿아 있었더라도, Gemini가 그걸 누구에게나 꺼내 주는 건 완전히 다른 문제로 느껴짐.
더구나 그 정보는 일반 Google 검색으로는 거의 드러나지 않을 만큼 깊이 묻혀 있었음.
Gilbert도 같은 점을 확인함.
검색 결과만 훑어서는 절대 못 찾았을 정보였고.
기자가 이달 초 Gemini에 같은 프롬프트를 넣었을 때도, 처음엔 부인하다가 결국 Eiger의 전화번호를 내놨음.
이 일을 겪은 뒤 Eiger, Gilbert, 그리고 UW 박사과정생 Anna-Maria Gueorguieva는 ChatGPT도 교수 한 사람에 대해 어디까지 드러내는지 시험함.
처음에는 OpenAI 가드레일이 작동해 ChatGPT가 해당 정보는 확인할 수 없다고 답함.
그런데 같은 답변에서, 원하면 더 "investigative-style"하게 파고들 수도 있다고 제안함.
교수가 살 법한 동네 추정치나 집 공동 소유자일 수 있는 이름을 주면 범위를 좁힐 수 있다는 말.
그래야 대개 더 최근 기록이나 일부러 눈에 덜 띄게 만든 부동산 기록이 나온다고도 했고.
학생들이 그 정보를 주자 ChatGPT는 도시 부동산 기록에서 해당 교수의 집 주소, 주택 매입가, 배우자 이름까지 끄집어냄.
OpenAI 대변인 Taya Christianson은 스크린샷이나 어떤 모델을 썼는지 모르면 이 사례에는 답하기 어렵다고 함.
ChatGPT 인터페이스에서는 사용자가 자신이 어떤 모델을 쓰는지 모를 수 있다는 점도 함께 지적됐음.
개인정보 노출 질문에는 개인정보 처리와 PII 필터링 방식 등을 설명한 문서 링크를 보냄.
DeleteMe의 Shavell 말대로, 이건 챗봇의 근본적 문제를 드러냄.
AI 기업은 가드레일을 넣을 수 있어도, 동시에 챗봇은 고객 질문에 효과적으로 답하도록 설계돼 있음.
노출 문제는 Gemini나 ChatGPT에만 한정되지 않음.
지난해 Futurism은 xAI 챗봇 Grok에
"[name] address"라고 물으면 거의 매번 거주지 주소를 내놨고, 종종 전화번호, 직장 주소, 이름이 비슷한 다른 사람들 주소까지 함께 줬다고 보도.xAI는 논평 요청에 응답하지 않았고.
뚜렷한 해답 없음
이 문제에는 간단한 해법이 없음.
특정 모델의 학습 데이터에 내 개인정보가 들어 있는지 검증할 쉬운 방법도 없고, 모델에 PII 삭제를 강제할 방법도 마땅치 않음.
Stanford HAI의 프라이버시·데이터 연구원 Jennifer King은, 이상적으로는 개인이 자기 PII 삭제를 요청할 수 있어야 한다고 말함.
하지만 보통 그런 권리는 사람이 기업에 직접 제공한 데이터, 예를 들어 챗봇과 주고받으며 넘긴 데이터에만 적용된다고 해석됨.
Google이 내 학습 데이터를 갖고 있는지, 나에 대해 무엇을 알고 있는지 요약해 줄 수 있는지, 틀리거나 원치 않는 내용을 삭제·정정할 수 있는지 묻는 인프라가 과연 있는지도 King은 모르겠다고 함.
기존 프라이버시 법제, 예를 들어 California Consumer Privacy Act나 유럽 GDPR은 이미 스크레이핑돼 LLM 훈련에 쓰인 "공개적으로 이용 가능한" 정보까지는 대체로 다루지 못함.
AI 기업들이 과거 공개 웹에서 이미 수집한 데이터를 다시 훑어 그런 민감 정보를 체계적으로 덜어냈는지는 전혀 알 수 없음.
그다음으로 기대할 만한 해법은 기업이 모든 전화번호, 혹은 전화번호처럼 보이는 데이터를 걷어내는 일인데, 실제로 그렇게 한다고 공개적으로 말한 곳은 없음.
Hugging Face는 전화번호 같은 데이터 조각이 오픈소스 LLM 학습 데이터셋에 얼마나 자주 등장하는지 검색할 수 있는 도구를 제공함.
하지만 Claude, ChatGPT, Gemini 같은 대중적 챗봇을 구동하는 비공개 LLM 훈련 데이터까지 대표하진 않음.
예를 들어 Eiger의 번호는 Hugging Face 도구에서 나오지 않았고.
Gemini 앱과 Google Labs의 커뮤니케이션 총괄 Alex Joseph는 구체적 질문에는 답하지 않았지만, MIT Technology Review가 지적한 사례들을 팀이 들여다보고 있다고 함.
또 지원 문서 링크도 보냄.
사용자는 자기 개인정보 처리에 이의를 제기하거나, Gemini Apps 응답에 들어간 부정확한 개인정보의 정정을 요청할 수 있다는 내용.
다만 회사 대응은 거주 지역의 프라이버시 법에 따라 달라짐.
OpenAI는 privacy portal에서 ChatGPT 응답에서 자기 개인정보를 제거해 달라는 요청을 받음.
다만 프라이버시 요청과 공익을 함께 저울질해, 법적으로 정당한 사유가 있으면 요청을 거절할 수 있다고 적어 둠.
Anthropic은 문서에서 모델 훈련에 개인정보를 어떻게 쓰는지 설명하지만, 삭제 요청을 넣을 뚜렷한 경로는 없음.
회사는 논평 요청에도 응답하지 않았고.
지금 당장 사적인 데이터를 지키려면 윗 단계부터 막는 수밖에 없음.
공개 웹에 떠 있는 개인정보를 다음 스크레이프에 실리기 전에 먼저 치워야 함.
예를 들어 California는 올해 초부터 주민이 데이터 브로커에게 자기 정보를 삭제하라고 요구할 수 있는 웹 포털을 제공함.
그래도 그 데이터가 이미 훈련에 쓰이지 않았다는 보장은 없고, 따라서 챗봇 응답에 안 나타난다는 보장도 없음.
끊임없는 전화를 받은 Reddit 사용자는 Google에 자기 번호를 LLM 출력에서 긴급 블랙리스트 처리해 달라는 공식 법적 삭제·프라이버시 요청을 넣었다고 올림.
아직 답은 받지 못했고.
지난달에도 괴롭힘이 매일 계속된다고 적었고.
이스라엘 소프트웨어 개발자 Abraham은 전화번호가 노출된 다음 날인 3월 17일 Google 고객센터에 연락했다고 함.
답변은 5월 4일에야 왔고, 이미 제출한 자료를 다시 요구하는 내용뿐이었다고 함.
Eiger는 자기 정보가 Gemini에서 노출된 일을 계기로 Gilbert, Gueorguieva와 함께 연구 프로젝트를 설계 중임.
여러 AI 챗봇이 어떤 개인정보를 드러내는지, 또 겉으로 말하지 않아도 실제로는 무엇을 알고 있을지를 더 살펴보려는 작업.
그 정보 중 일부는 "기술적으로는 공개 정보"일 수 있음.
그래도 챗봇은 그 정보를 찾는 데 원래 들어가야 할 노력의 양 자체를 바꿔버릴 수 있음.
예전엔 Google 검색 결과 10페이지를 뒤지거나 데이터 브로커 사이트에 돈을 내야 했다면, 이제 생성형 AI가 특정인을 겨냥하는 진입장벽 자체를 낮추는 것 아닌가.
