kobert2 로컬에서 BERT모델 돌려서 학습하기 얼마전에 koBERT로 colab에서 학습하였는데 어떻게 로컬에서 옮겨야 할지 감이 안잡혔다. mxnet, glounnlp를 직접 다운로드하여 라이브러리에 넣어주었는데도 안되고 vmware를 깔아서 리눅스환경에서 해보았는데도 잘 안되었다. 그래서 koBERT는 아쉽지만 잠시 모델만 남겨두고 다른 방법으로 로컬로 학습을 시키려고 한다. koBERT 모델 학습하기에서 txt파일을 만들었는데 그것을 사용하겠다. 인공지능 koBERT 모델 학습 추천시스템에 쓰일 '태그'를 달기 위해 모델을 하나 제작하고 있다. 다른 모델들도 많지만 koELECTRA와 기타 모델은 데이터 전처리를 모델에 맞게 해주지 않아서 그런가 정확도가 높지 않았다. 그 beomcoder.tistory.com 0. 데이터 처리하기 koBERT.. 2023. 2. 15. 인공지능 koBERT 모델 학습 추천시스템에 쓰일 '태그'를 달기 위해 모델을 하나 제작하고 있다. 다른 모델들도 많지만 koELECTRA와 기타 모델은 데이터 전처리를 모델에 맞게 해주지 않아서 그런가 정확도가 높지 않았다. 그래서 그나마 높은 정확도를 보여준 koBERT학습 후기를 남길까 한다. 1. BERT는 무엇인가? 먼저 BERT라는 것은 위키피디아(25억 단어)와 BooksCorpus(8억 단어)로 pretrain 되어 있는 기계번역 모델이다. 하지만 외국에서 만든 것이다 보니 영어에 대해 정확도가 높다. 한국어에 대해서는 영어보다 정확도가 떨어진다. 좋은 알고리즘을 갖고 있는 BERT 모델을 한국어에도 잘 활용할 수 있도록 만들어진 것 중에 하나가 바로 SKT에서 만든 KoBERT모델(https://github.com/SK.. 2023. 2. 11. 이전 1 다음
