머신러닝 데이터 전처리 질문드려요... ㅜㅜ

Question

제가 네트워크 트래픽 분류하는 것을 머신러닝을 이용하여 분류해야하는데요... CSV 파일에 페이로드 값이 예시로 이렇게 되어있습니다.(아스키코드로 변환하면 네트워크 트래픽 내용이 나옵니다. 보안상 원래 데이터 내용은 못담아서 예시로 올립니다.) 이제 이 페이로드 값을 feature로 사용해야합니다. 그런데 보시는거와 같이 16진수 값으로 되어있습니다. 이 값을 한번에 정수로 변환해서 훈련시켜볼까도 했지만 숫자가 매우 커기지 때문에 불가능합니다. 데이터 세트 용량도 매우 크거든요.... 그래서 얻은 결론으로는 16진수 값 2자리씩(FF AB 1B...) 끊어서 정수로 변환(FF->1515)후 훈련시켜야 한다는데, 어떻게 구현하는 지 잘 모르겠어요 ㅠㅠ정리하자면, 아래와 같습니다. 이제 이걸 구현을 해야하는데, 잘 모르겠어요... 좀 도와주시면 감사하겠습니다.

새싹보리차 · Accepted Answer

문자열로 받고 -> 두개씩 끊고 -> 10진수로 변환하고 -> 정규화 하시면 될 것 같습니다. 이후 사용하는 프레임워크에 따라서 텐서로 만들어 주시면 될 것 같습니다.!pay_laod &#61; &#34;ABAAADD78FF6&#34; list_16진수 &#61; [pay_laod[i:i&#43;2] for i in range(len(pay_laod)-1)] list_10진수 &#61; [int(pay_laod[i:i&#43;2], 16) for i in range(len(pay_laod)-1)] list_Normalized_10진수 &#61; [int(pay_laod[i:i&#43;2], 16)/255.0 for i in range(len(pay_laod)-1)] print(&#34;16진수: &#34;, list_16진수) print(&#34;10진수: &#34;, np.array(list_10진수, dtype&#61;np.int)) print(&#34;10진수 정규화: &#34;, np.array(list_Normalized_10진수, dtype&#61;np.float32)) ''' 출력 >>> 16진수: ['AB', 'BA', 'AA', 'AA', 'AD', 'DD', 'D7', '78', '8F', 'FF', 'F6'] >>> 10진수: [171 186 170 170 173 221 215 120 143 255 246] >>> 10진수 정규화: [0.67058824 0.72941176 0.66666667 0.66666667 0.67843137 0.86666667 0.84313725 0.47058824 0.56078431 1. 0.96470588] '''

멍게맛소주 · Answer

어떤 부분에서 막히는지 정확히 짐작하기 어렵네요.페이로드의 전체 자릿수가 어떻게 되나요?모델링 부분에서 막히시는 건가요?

이거아닌데 · Answer

페이로드 최대 크기는 1500바이트이고 각 샘플마다 크기는 제각각입니다.일단 저 페이로드 값(16진수)를 피쳐로 사용해야하는데, 그러러면 저 값을 훈련 시킬 수 있는 정수 값으로 바꿔줘야 하잖아요... 그 방법을 모르겠어요 ㅠㅠ 단순히 저 값을 한번에 정수로 변환 후 학습 시킬 수는 없으니까, 저 값을 2자리씩 쪼개서 정수로 변환 후 학습 시켜야한다는데.... 그리고 머신러닝 알고리즘은 사이킷런에서 제공하는 랜덤 포레스트를 사용할 예정입니다.

이거아닌데 · Answer

새싹보리차 좋은 답변 감사합니다. 그런데 혹시 저렇게 잘라서 학습시켜도 상관없을까요??예를들면, 한번에 학습시키는거랑 잘라서 학습시키는 거랑 결과에 대한 차이가 없을까요?

새싹보리차 · Answer

한번에 학습 시킨다는게 뭔가요.저 단일 페이로드를 하나로 나타낼 수 있는 방법이 있나요.? 다만 한번에 라는게 단일 정수, 실수라면 잘라서도 해보고한번에도 해보고 실험적으로 확인하는게 좋을 것 같습니다. 패턴이 쉽다면 단일 정주, 실수 일때도 잘 분류 되겠지만 아니라면 저렇게 잘라서 해보는 것도 좋을것 같습니다.

이거아닌데 · Answer

새싹보리차아아 글쿤요 ㅎㅎ 감사합니다.

머신러닝 데이터 전처리 질문드려요... ㅜㅜ

6개의 답변

#sklearn 목록