졸프1 인공지능 koBERT 모델 학습 추천시스템에 쓰일 '태그'를 달기 위해 모델을 하나 제작하고 있다. 다른 모델들도 많지만 koELECTRA와 기타 모델은 데이터 전처리를 모델에 맞게 해주지 않아서 그런가 정확도가 높지 않았다. 그래서 그나마 높은 정확도를 보여준 koBERT학습 후기를 남길까 한다. 1. BERT는 무엇인가? 먼저 BERT라는 것은 위키피디아(25억 단어)와 BooksCorpus(8억 단어)로 pretrain 되어 있는 기계번역 모델이다. 하지만 외국에서 만든 것이다 보니 영어에 대해 정확도가 높다. 한국어에 대해서는 영어보다 정확도가 떨어진다. 좋은 알고리즘을 갖고 있는 BERT 모델을 한국어에도 잘 활용할 수 있도록 만들어진 것 중에 하나가 바로 SKT에서 만든 KoBERT모델(https://github.com/SK.. 2023. 2. 11. 이전 1 다음
