Train.csv와 Test.csv

Question

제가 하고싶은 질문은 train때 잘나오던 모형의 점수가 test때 최악으로 나온다는 것인데 여기서 어디로 가야할지 조언 부탁드립니다.제가 수행한 과정은 다음과 같습니다.목표는 30개 변수(숫자로 암호화됨)로 5개의 target값을 예측하는 모형를 만드는 것입니다.우선 전 변수 하나하나 예측하는 모형을 만들고자했습니다.Train.csv에서 상관분석 결과1개를 제외한 나머지 변수 vif지수가 10 이상로 나와서 이러한 문제점에 영향을 덜 받는 모형위주로 선정하기로 방향을 잡았습니다.암호화된 변수에 이상치란 이유로 제거하긴 조심스러워서 이상치는 제거않았습니다. 이에 적절한 스케일 방법으로 30개 변수 전체에 robust scale 을 적용했습니다.Test.csv에서 0.3비율로 쪼개서Lasso를 사용하니 30점대가 나와서 적절하지 않은 모형이라 판단했습니다.대체 모형으로LightGBM 방법으로 했을때Train과 test점수가 약 96점 95점으로 준수했습니다.이 모형이 적절하다 판단하고Test.csv에 똑같이 robust로 스케일 후 모형 적용하였는데10점대가 나왔습니다.기존 모형이 test.csv에 과적합되었다 판단하고 파라미터 조정을 통해 규제를 높였으나약 15점까지 올라간게 최대더군요.하나하나 타겟 예측하는 ML모형을 벗어나야되나싶어서다중출력신경망(MLPRregrssor)을 사용하였는데이것 역시 train.csv내부에서 쪼갠 자체 훈련, 테스트 점수는 준수했는데 test.csv에 단독으로 훈련시키니 음수가 나왔습니다.혹시 test.csv파일이 문제가 있나 싶어 전처리하듯 구조를 파악해보았지만 전체 데이터 개수를 제외하고 중복, 결측치도 없고 큰 차이는 없었거든요.제가 여기서 무얼 놓치고 있는 것인지 조언 부탁드립니다.

킹존버윈스 · Accepted Answer

데이터 개수, 중복, 결측지 보다는 데이터가 정확한지 한번 확인해보시는게 어떨까요?특히 데이터 분포가 어떠한지 보는게 중요할꺼 같네요. 결국은 내부적으로는 분류하는 문제라 한쪽으로 데이처가 취우쳐져 있을 가능성이 높아요.그리고 MLP면 데이터 총 개수가 작으면 오버피팅 바로 오버피팅 되는게 맞아요.머... 저라면 칼만으로 데이터 보정해서 모형 분류하는 형태로 풀었을꺼 같긴한데... ㅎ 파이팅...

Train.csv와 Test.csv

1개의 답변

기타 목록