솜씨좋은장씨

[문자] 청와대 청원 : 청원의 주제가 무엇일까? 출처 : DACON - Data Science Competition dacon.io 그동안 Elasticsearch를 활용하여 검색 시스템을 개발하면서 자연어처리에 대해서 공부를 좀 소홀히 한 느낌이있어 다시 기존에 공부했던 내용을 리마인드 시킬 겸! 데이콘에서 교육용으로 열려있는 청와대 청원 분류 문제를 풀어보기로 했습니다. 이 문제는 청와대 청원이 0 : 인권 / 성평등 | 1 : 문화 / 예술 / 체육 / 언론 | 2 : 육아 / 교육 이 세가지 중 어떤 카테고리에 속하는지 분류를 하면되는 문제입니다. 모든 과정은 Google Colab의 GPU 환경에서 진행하였습니다. 먼저 pandas의 read_csv로 데이터를 불러와 각 카테고리마다 데이터가 ..

1. 아이디어형태소 분석기를 Okt에서 Mecab으로 바꾸어 토큰화 한 후 모델을 학습시켜 결과 확인 Mecab을 활용하여 토큰화하니 문자데이터의 최대 길이가 666으로 증가하였습니다.from keras.layers import Embedding, Dense, LSTM from keras.models import Sequential from keras.preprocessing.sequence import pad_sequences max_len = 666 # 전체 데이터의 길이를 666로 맞춘다 X_train = pad_sequences(X_train, maxlen=max_len) X_test = pad_sequences(X_test, maxlen=max_len) 모델링첫번째 시도해본 모델 (Google ..

1. 도전하게 된 계기 [대회] 14회 금융문자 분석 경진대회 dacon.io idEANS 팀원들과 함께했던 COMPAS 화성시 최적 시내버스 노선 제시 공모전을 잘 마무리하고 새로운 목표를 설정도 할겸 이번엔 멀티캠퍼스에서 자연어 처리를 들었던 내용을 살려 금융문자 분석 경진대회에 도전해보기로 했습니다. [대회] 14회 금융문자 분석 경진대회 - [Dacon Baseline] 초급자용 코드 /*! * * Twitter Bootstrap * */ /*! * Bootstrap v3.3.7 (http://getbootstrap.com) * Copyright 2011-2016 Twitter, Inc. * Licensed under MIT (https://github.com/twbs/bootstrap/blob/..

프로젝트를 진행하면서 네이버 기사 내용을 긍정/부정으로 분류해주는 기능을 넣자고 하여 구현해보았습니다. 모델을 만드는 것은 위키독스에서 제공하는 딥러닝을 이용한 자연어처리 입문에 나와있는 코드를 활용하였습니다. 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 0. 코드 관련 2020년 12월 22일 일부 코드 업데이트가 진행되었습니다. 아래의 코드의 대부분은 python과 keras를 공부한지 두달도 안된 상황에서 진행한 코드로 중간중간 설명이 이상하거나 제대로 동작하지 않는 부분이 있을 수도 있습니다. 양해부탁드립니다. 기사 제목 분류 관련 전체적인 코드 업데이트는 2021년에 진행할 예정입니다. 감사합니다. 솜장 드림. 1. 학습데이터, 테스트데이터 만들기 먼저 모델을 만들고..

1. 이 주제를 선정하게 된 계기 개인프로젝트로 어떤 것을 해볼까 고민하면서 처음에는 영화를 추천해주는 챗봇을 만들어 보려고 했다가 더 공부를하고 만들기로 하고 하루라는 짧은 시간안에 구현해볼 수 있는 다른 주제가 무엇이 있나 찾던 중, 제가 평소에 자주 이용하는 왓챠라는 페이지에서 제가 봤던 영화들 목록과 평점과 같은 데이터를 가지고 새로운 영화가 나왔을 때 내가 시청하고 나서 어떤 점수를 부여할 것인지 예측해주는 시스템이 떠올랐습니다. 제가 왓챠에 제공하는 데이터는 제가 봤던 영화의 목록과 그 영화에 부여하는 평점 정보 뿐인데 어떻게 아직 개봉하지 않은 영화들의 평점을 예측해서 보여주는가 고민을 해보았습니다. 고민하다가 떠올랐던 것이 제가 봤다고 한 영화의 줄거리와 그 영화에 부여된 평점, 그리고 장..

이 글은 아래링크의 강의를 보고 공부했던 내용을 정리한 내용입니다. 내용은 아직 공부 초반이라 많이 부족합니다. 공부하면서 점점 보완하여 업데이트 하도록 하겠습니다. 딥러닝 입문에서 활용까지 케라스(Keras) | T아카데미 온라인강의 1. 딥러닝 레이어(Layer)에 대한 개념을 '블록'에 비유하여 설명한다. 2. 케라스를 이용한 MLP, CNN, RNN, GAN 모델링 방법에 대해 알아본다. tacademy.skplanet.com Model을 구성하는 Network, Objective Function, Optimizer Model을 크게 3가지로 나누어 본다면 Network / Objective Function / Optimizer 3가지로 볼 수 있습니다 이 세가지를 레고 사람 블럭 에 비유하면 N..