우리 회사가 만든 AI, OOO 놓치면 망하는 건 시간 문제.

SM 버추얼 아이돌 제작사 자이언트스텝, 버추얼 휴먼 제작 시 어떻게 AI 편향성을 극복했을까?

빈칸의 정답은 뭘까요? 정답은 ‘편향성’입니다. 많은 분들이 공감하시겠지만, 이 인공지능 데이터 편향성 때문에 수많은 현직자 분들이 매일같이 고생하고 있죠.

XR, VFX부터 버추얼 휴먼 디자인까지 전문적으로 진행하는 비주얼 콘텐츠 솔루션 ‘자이언트스텝’이 데이터클리닉과 함께 편향성을 극복했습니다.

유튜브 알고리즘에서 아래 버추얼 휴먼을 보신 분들 계실까요? 자이언트스텝은 버추얼 휴먼 제작 전문가이기도 합니다. SM엔터테인먼트 버추얼 아이돌 ‘나이비스’, 네이버의 최초 버추얼 휴먼 인플루언서 ‘이솔’을 제작했어요.

출처: SM엔터테인먼트 - nævis 나이비스 'Sensitive' MV

출처: 네이버 쇼핑 라이브 - 네이버 최초 버추얼 휴먼 인플루언서 ‘이솔’

자이언트스텝의 FacialX, AI 편향성으로 인해 난관을 겪었습니다.

이처럼 탄탄한 포트폴리오를 쌓아온 자이언트스텝, 알고 보면 내부 AI 팀에서 큰 난관을 겪고 있었다고 하죠. 자이언트스텝은 표정, 모션을 자연스럽게 구사하는 ‘버추얼 액터’를 제작할 수 있는 장치 ‘FacialX’를 개발하고 있었습니다.

하지만 자이언트스텝도 인공지능 데이터 편향성을 피해 갈 수 없었습니다. 특정 얼굴 유형에 쏠린 데이터만을 보유한 터라 FacialX의 인식 정확도는 떨어졌죠. 자체적으로 합성 데이터를 대량 생성하여 오류를 줄이려 했으나, 오히려 중복 데이터가 늘어나 학습 효율은 떨어졌습니다.

데이터 클리닉을 만난 후, 어떻게 변했을까요?

결국 자이언트스텝 AI 팀은 ‘데이터 종합병원’이라 불리는 데이터 클리닉을 찾아왔습니다. 데이터 클리닉을 만난 후, 건강한 데이터를 학습하며 FacialX의 성능은 비약적으로 상승했습니다. 그 변화 과정을 살펴볼게요!

1) 데이터 다이어트: 중복 데이터를 제거해 데이터 200만 건 → 약 40만 건으로 축소

자이언트스텝에서 방대한 양의 합성 데이터를 생성했다고 했었죠? 하지만 중복 데이터가 다수였기에 첫 번째로 데이터 다이어트가 필요했어요.

그런데 우리가 다이어트를 할 때, 과도한 식습관 변화 등 잘못된 방법으로 살을 뺀다면 신체에 꼭 필요한 근육까지 빠지고, 건강에 이상이 생기죠. 데이터 클리닉은 ‘건강하고, 지속 가능한 데이터 다이어트’를 지향해요. 따라서 아래 절차대로 데이터 다이어트를 진행했습니다.

데이터 렌즈(Diagnostic Lens)로 원본 데이터셋의 표정 분포, 인종별 비율, 조명, 각도를 정밀하게 분석했어요.
이 중 근육처럼 반드시 필요한 데이터, 내장지방처럼 불필요한 중복 데이터를 철저히 구분하여 중복 데이터를 제거했어요. 200만 건의 데이터 중 5분의 1로 줄여, 40만 건의 데이터를 남겼습니다.
데이터셋을 극도로 효율화한 환경을 만든 덕분에 이전보다 인공지능의 학습 시간은 더욱 빨라졌어요!

아래는 벡터 임베딩을 시각화하여 데이터 다이어트 전후를 비교한 모습이에요. 그 전에는 과밀한 부분이 다수 존재했는데,데이터 다이어트 이후 일정한 밀도로 변환되었습니다.

*벡터 임베딩이란? 텍스트, 이미지, 오디오와 같은 ‘비정형 데이터’를 기계가 인식할 수 있도록, 숫자 배열(벡터)로 바꾸는 방법이에요.

자이언트스텝 진단 리포트 - 데이터 다이어트 전후의 밀도의 변화

또다른 형태, 밀도 히스토그램으로 확인해 볼까요? 막대가 길수록 밀도가 높아지는데요. 데이터가 과밀한 구간, 그렇지 않은 구간이 확연히 보이죠. 데이터 다이어트 후, 과밀한 통계적 이상치(Outlier) 부분이 사라졌어요.

*통계적 이상치: 데이터 분포에서 벗어난 극단적인 값이에요. 전체의 패턴을 벗어나 지나치게 높거나 작은 값을 말합니다.

자이언트스텝 진단 리포트 - 데이터 다이어트 전후의 밀도의 변화

2) 데이터 벌크업(합성 데이터 생성): 단 66명의 데이터로 성능 상승.

데이터 다이어트로 근육처럼 건강한 데이터를 남겨두었다면, 인공지능 데이터 편향성에서 벗어나 좀 더 세밀한 표정 변화를 구현하기 위해서는 이른바 데이터 벌크업, ‘합성 데이터’ 생성은 필수입니다.

객관적인 데이터를 볼 수 있는 눈, ‘데이터 렌즈’로 이미지를 다각도로 분석하자 실제 데이터의 60% 이상이 특정 조건에 집중되어 있었다는 점을 발견했죠. 이른바 편향을 수치화하는 과정이 필요했어요.
반드시 꼭 필요한 부분에만, 편향 없는 합성 데이터를 만드는 방법 없을까요? 데이터클리닉에 있습니다. 페블러스에서는 이를 '정밀 타기팅 합성 데이터'라고 부르는데요.
정밀 타기팅 합성 데이터는 마치 ‘보톡스’와 같아요. 정말 필요한 주름에만 소량의 보톡스를 넣어도, 팽팽한 얼굴을 만들어지죠. 보톡스처럼 여러분께 정말 필요한 데이터에 대한 합성 데이터만을 생성하고 있어요.

데이터 클리닉의 데이터 벌크업 기술에 따라 자이언트스텝은 단 66명의 데이터만으로 효율적으로 합성 데이터를 생성했어요. 얼굴 근육의 미세한 움직임, 광원 조건, 시선 방향 등의 경우의 수를 고려하여 편향 없이 골고루 분포된 합성 데이터셋을 만들어낸 것이죠.

이후 FacialX의 성능, 어떻게 바뀌었을까요? 최종적으로 아래와 같은 결과물을 만들어낼 수 있었어요. 지금까지 여러분이 봐오셨던 어색한 버추얼 휴먼이 아닌 마치 실제 인간처럼 생동감 있는 표정을 만들어내고 있습니다.

출처: 자이언트스텝

덕분에 자이언트스텝의 FacialX는 무사히 런칭되어 세계 최대 규모의 컴퓨터 그래픽 및 인터랙티브 기술 컨퍼런스 ‘시그라프 아시아 2024’에서 공개되었습니다. 또한 연구 결과는 관련 분야 우수 학술대회인 SIGGRAPH Asia 2024에서 논문으로 소개되기도 했어요. 영광스럽게도 페블러스도 공동 저자로 연구 논문에 참여하게 되었습니다.