글로벌 사이버 보안 리더 카스퍼스키(www.kaspersky.co.kr, 지사장 이효은)는 오늘, LLM을 악용하고 일반적인 AI 안전장치나 규정을 우회하여 사이버 공격 및 데이터를 탈취하는 ‘다크AI’를 통한 더욱 정교하고 은밀한 공격이 증가하고 있다고 밝혔다.

아시아태평양 지역에서 다크 인공지능(Dark Artificial Intelligence, 이하 Dark AI)의 부상으로 더욱 정교하고 은밀한 공격이 증가할 것으로 예상된다.

카스퍼스키의 세르게이 로즈킨, META 및 APAC 지역 GReAT (글로벌 연구 분석팀) 총괄 책임자는 “ChatGPT가 2023년에 전 세계적인 인기를 얻은 이후, 우리는 영상 제작 같은 일상적인 작업부터 기술적인 위협 탐지 및 분석에 이르기까지 다양한 AI 활용을 목격해 왔다. 동시에 악의적인 행위자들 또한 공격 역량을 강화하는 데 AI를 사용하고 있다. 우리는 이제 사이버 보안과 사회 전반에서 AI가 방패가 되고, 다크 AI가 검이 되는 시대에 진입하고 있다”라고 말했다.

다크 AI
다크 AI는 비제한 대형 언어 모델을 로컬 또는 원격에서 전체 프레임워크 혹은 챗봇 시스템 내에 배치해 악의적, 비윤리적 또는 비인가 목적에 사용하는 것을 의미한다. 이러한 시스템은 표준적인 안전성, 컴플라이언스 또는 거버넌스 통제에서 벗어나 운영되며, 감시 없이 기만, 조작, 사이버 공격 또는 데이터 남용 등의 기능을 수행할 수 있도록 한다.

다크 AI의 실제 활용 사례
로즈킨은 현재 가장 일반적이고 널리 알려진 악의적 AI 활용 방식으로 Black Hat GPTs를 소개했다. 이는 2023년 중반경부터 등장했으며, 악의적 코드 생성, 대량 혹은 표적 공격용 피싱 이메일 작성, 음성 및 영상 딥페이크 생성, 그리고 레드팀 작전 지원 등 비윤리적·불법적·악성 행위를 수행하기 위해 의도적으로 구축되거나 수정된 AI 모델을 의미한다.

Black Hat GPT는 비공개 또는 준공개 AI 모델일 수 있으며, 알려진 예로는 WormGPT, DarkBard, FraudGPT, Xanthorox 등이 있다. 이들은 사이버 범죄, 사기, 자동화 공격을 지원하도록 설계되었거나 변형되었다.

전형적인 다크 AI 활용 사례 외에도, 로즈킨은 카스퍼스키 전문가들이 현재 국가 배후 공격자들이 LLM을 그들의 작전에서 활용하는 더욱 어두운 상황을 목격하고 있다고 밝혔다.

카스퍼스키의 세르게이 로즈킨, META 및 아시아태평양 지역 GReAT 총괄 책임자는 “최근 OpenAI는 자사의 AI 도구를 악용하려는 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 방해했다고 발표했다. 우리는 위협 행위자들이 공공 및 사설 위협 생태계에서 생성형 AI를 무기화하기 위한 더욱 교묘한 방법들을 개발할 것으로 예상해야 한다”라고 말했다.

OpenAI의 보고서에 따르면, 악의적 행위자들은 LLM을 사용하여 설득력 있는 가짜 인물을 생성하고, 대상에게 실시간으로 반응하며, 피해자를 속이고 기존 보안 필터를 우회하기 위한 다국어 콘텐츠를 제작했다.

카스퍼스키의 세르게이 로즈킨, META 및 아시아태평양 지역 GReAT 총괄 책임자는 “AI는 본질적으로 옳고 그름을 구별하지 못하며, 단지 명령어를 따를 뿐이다. 보호 장치가 있더라도, APT 공격자들은 끈질긴 존재다. 다크 AI 도구가 더 쉽게 접근 가능해지고 역량이 강화됨에 따라, 아시아태평양 지역의 조직과 개인은 사이버 보안 위생을 강화하고, AI 기반 위협 탐지 기술에 투자하며, 이러한 기술들이 어떻게 악용될 수 있는지에 대해 계속 학습해야 한다”라고 말했다.

카스퍼스키 전문가들은 다크 AI 및 AI 기반 사이버 위협 대응 방안을 제시했다:

• Kaspersky Next와 같은 차세대 보안 솔루션을 활용하여 공급망 내 AI 기반 악성코드 및 위협을 탐지해야 한다

• AI 기반 공격을 실시간으로 모니터링하기 위한 실시간 위협 인텔리전스 도구를 활용해야 한다

• 섀도우 AI 및 데이터 유출 위험을 줄이기 위한 접근 통제 및 직원 교육을 강화해야 한다.

• 보안 운영 센터(SOC) 구축을 통한 실시간 위협 감시 및 신속 대응 체계를 마련해야 한다.

https://www.kaspersky.com/에서 다크 AI 기반 최신 위협에 대한 정보를 계속 확인할 수 있다.

GReAT(글로벌 연구 분석팀) 소개

2008년에 설립된 GReAT 은 APT, 사이버 스파이 활동, 주요 악성코드, 랜섬웨어, 지하 범죄 트렌드를 세계 전역에서 탐지하는 카스퍼스키의 핵심 보안 연구팀이다. 현재 GReAT 은 30명 이상의 전문가들로 구성되어 있으며, 유럽, 러시아, 라틴 아메리카, 아시아, 중동 등지에서 활약하고 있다. 이들은 악성코드 연구 및 보안 혁신 분야에서 글로벌 리더십을 발휘하고 있으며, 탁월한 전문성, 호기심, 열정을 바탕으로 사이버 위협을 탐지 및 분석하고 있다.

카스퍼스키 분석, 다크 AI 시대 진입… 국가 배후 APT 공격자들, 생성형 AI 무기화