파이썬 one hot encoding 질문

Question

안녕하세요 . 파이썬 One-Hot Encoding에 대해 질문 드립니다.import tensorflow as tftokenizer &#61; tf.keras.preprocessing.text.Tokenizer()ko_text &#61; ['나는 배가 고프다', '내일 점심 뭐먹지', '내일 공부 해야겠다', '점심 먹고 공부해야지']tokenizer.fit_on_texts(ko_text)word_to_index &#61; tokenizer.word_indexprint(word_to_index) # 출력결과 : {'내일': 1, '점심': 2, '나는': 3, '배가': 4, '고프다': 5, '뭐먹지': 6, '공부': 7, '해야겠다': 8, '먹고': 9, '공부해야지': 10}sentence &#61; [ko_text[3]]encoded &#61; tokenizer.texts_to_sequences(sentence)[0]one_hot &#61; tf.keras.utils.to_categorical(encoded)print(one_hot) # 출력결과 [[0. 0. 1. 0. 0. 0. 0. 0. 0. 0. 0.] [0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 0.] [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1.]]최종적으로 one_hot이라는 변수를 출력하면 위와 같이 나오는데, 0과 1의 수는 단어사전의 수와 일치해야 하지 않나요??단어사전 내의 단어 수는 10개인데, 왜 마지막 문장인 '점심 먹고 공부해야지' 를 one hot encoding한 행렬들의 원소 갯수가 11개인지 모르겠습니다.

몽코딩 · Answer

ㅋㅋㅋ 코드를 그대로 복붙하셔서 보기도 힘듭니다.코드 태그를 이용해보세요!

몽코딩 · Answer

import tensorflow as tf tokenizer = tf.keras.preprocessing.text.Tokenizer() ko_text = ['나는 배가 고프다', '내일 점심 뭐먹지', '내일 공부 해야겠다', '점심 먹고 공부해야지'] tokenizer.fit_on_texts(ko_text)

파이썬 one hot encoding 질문

2개의 답변

기타 목록