관리 메뉴

솜씨좋은장씨

[DACON] 소설 작가 분류 AI 경진대회 N일차! 본문

DACON/소설 작가 분류 AI 경진대회

[DACON] 소설 작가 분류 AI 경진대회 N일차!

솜씨좋은장씨 2020. 11. 5. 20:23
728x90
반응형

 

소설 작가 분류 AI 경진대회

출처 : DACON - Data Science Competition

dacon.io

소설 작가 분류 AI 경진대회 7일차!

7! 뭔가 기분좋아지는 숫자입니다.

이번 대회에서는 BERT와 같은 사전학습 모델 사용이 불가합니다.

 

그런데 전처리 과정에서는 사용을 해도 된다고하여 정보의 보고인 Kaggle로 향하여 Glove 임베딩을 활용한 노트북을 찾아

따라해보기로 하였습니다.

 

모든 개발은 aihub에서 지원 받은 GPU 서버 환경에서 진행하였습니다.

일반 수시 사용자에게도 아낌없이 지원해주셔서 정말 감사합니다.

 

NLP using GloVe Embeddings(99.87% Accuracy)

Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources

www.kaggle.com

여러 노트북들 중에서 Glove 임베딩을 활용하여

이진분류 과제에서 99.87%의 정확도를 낸 노트북을 활용해보기로 했습니다.

 

먼저 Glove 임베딩을 활용하기로 하였으니 인터넷에서 사전학습된 Glove를 다운로드 받았습니다.

다운로드 링크 : http://nlp.stanford.edu/data/glove.6B.zip

다운로드 받은 파일에는 각각 50차원, 100차원, 200차원, 300차원으로 되어있는 파일이 존재하였습니다.

 

오늘은 각각의 파일을 활용하여 시도해보고 가장 좋은 모델 세개를 진행해보았습니다.

 

Comments