OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
transformer
전체
최신순
질문하기
해결
1
wonjunchoi-arc
·
2년 이상
452
0
해결 1
Tensorflow와 gpu에 데이터셋 올리기
torch 또는 tensor에서 데이터를 전처리하고 데이터셋을 만드는 과정에서 gpu자체에 올려두고 그 데이터를 사용하는 경우도 있는데 병목현상이 발생하여 gpu till이 저조한 현상이 발견됩니다. 또한 이미 gpu에 데이터가 전부 올라가 있는 상태에서도(tf 형태로 변환하면 자동으로 올라감) 모델을 구동하면 Out of memory가 발생합니다. 데이터를 tf.함수로 정의하기전 데이터를 tf함수로 정의하여 불러온 데이터가 tf.tensor가 된
답변
0
kemaeng
·
약 3년
367
0
답변 0
텍스트, 단어 학습데이터로 텍스트 카테고리화 or 분류하는 방법 (gpt, bert)..
이렇게 위와 같이 name와 label로 학습데이터가 구성되어 있는 excel 파일을 올리고 그 학습데이터를 바탕으로 학습을 시킨 후에, 제가 학습데이터에는 없지만 유사한 text(ex. Spring boot, next.js, vue.js, eclipese) 를 입력했을 때 학습한 데이터 기반으로 label을 매핑시켜 출력해주는 방식을 원합니다.gpt 분류 (classification) playground에서 엑셀 업로드가 아니라 텍스트로 일일히
Search Bar
