데이터 과학자가 멀티모달 데이터셋 구축하다가 깨달은 사실
쌀 한 톨까지 인식하는 식단 모니터링 AI가 만들어졌습니다. 기획 의도는 좋았지만, 막상 그 의도를 실천하기까지는 수월하진 않았습니다. 멀티모달 데이터셋이란 장애물이 있었어요. 현업 데이터 과학자로서 직접 데이터를 구축하며 깨달은 주의사항을 몇 가지 공유합니다!
정합성이 생명입니다. 이미지 vs 텍스트 간의 불일치를 방지하는 것이죠!
모달 편향도 주의해야 합니다. 한 모달만 의존하는 AI는 거짓 멀티모달입니다. 이 의존을 깨기 위해, 합성데이터로 부족한 부분을 정밀하게 채워주어야 합니다.
멀티모달은 유니모달보다 품질 관리가 몇 배로 어렵습니다. 여러 데이터셋이 엮여 있기에, 한 가지 값을 바꾸려면 그 외의 모달도 고려해야 합니다.
SME 협업은 필수입니다. 아무리 데이터 품질에 대한 쌓인 전문가라도, 식품 전문가와의 긴밀한 협업 없이는 품질 좋은 데이터를 구축하기란 불가능했습니다.
이 점들을 모두 고려해서 실제로 식단 모니터링 AI를 위한 멀티모달 데이터를 구축해온 과정을 샅샅이 기록해보았습니다. 혹여 데이터 때문에 고민이 많으신 분들은 글 읽어보신 후 시행착오를 줄이시길 바랍니다!
