Kaggle 랭킹 전체 3위가 부정행위 적발됐네요.

구글의 AI 대회 플랫폼인 Kaggle 에 열린 대회에서 뒤늦게 부정행위가 적발되었다고 하네요.

공식적으로 적발한거는 처음인 모양입니다.

2019년 4월에 PetFinder.my 주최로 실시한 대회가 있었는데, Kaggle 에서 유명한 랭킹 3위 그랜드마스터인 Pavel Pleskov가 이끄는 Bestpetting팀이 1등을 해서 1만 달러 상금을 탔습니다.

이후에 해당 대회에서 19세 나이로 6등을 한 Benjamin Minixhofer는 대회 주최측과 연락이 되서 대회에 쓰인 코드를 프로덕션에 함께 구현하기로 했습니다. 나중에 분석해보니 1등의 모델이 이상하다는 것을 알아낸 모양이네요.

부정행위 방법은 주최측 사이트의 데이터를 스크래핑해서 해당 대회의 정답 (테스트 set) 을 긁어온 다음 정답들을 해싱 및 인코딩을 해서 안보이게끔 한 다음, 테스트 set의 ID를 키로 이용해 정답을 디코딩을 할 수 있게끔 한 모양인데...물론 눈치채기 어렵게 난독화를 했고요. 궁금하시면 맨 아래 링크를 참조하게요.

부정행위 당사자인 그랜드마스터는 사과 및 상금을 돌려주긴 했지만 Kaggle 계정삭제되고 재직하고 있던 실리콘벨리 AI회사에서 짤린 모양이네요. 상금보다는 1등이 너무 하고 싶었다는 생각에 저질렀다고...

[기사 출처]: https://www.theregister.co.uk/2020/01/21/ai_kaggle_contest_cheat/

[Kaggle 측 발표]: https://www.kaggle.com/c/petfinder-adoption-prediction/discussion/125436

[제보자 분석]: https://www.kaggle.com/bminixhofer/how-bestpetting-cheated