솜씨좋은장씨

2020.11.04 - [머신러닝 | 딥러닝/자연어처리] - Google Colab에서 mecab-ko-dic 사용자 사전 추가하기! Google Colab에서 mecab-ko-dic 사용자 사전 추가하기! from konlpy.tag import Mecab mecab = Mecab() print(mecab.pos("솜씨좋은장씨의 개발블로그")) 최근 Google Colab에서 mecab에 사용자 사전을 추가하는 방법에 대해서 문의 하시는 분이 많기도 하셨고 저도 mecab에서 somjang.tistory.com 이전에 작성하였던 Colab 에서 mecab-ko-dic 사용자 사전 추가 방법이 이런 저런 오류들이 많이 발생하여 여러 종류의 질문이 많이 들어왔었습니다. 간만에 자세하게 이것저것 테스트해볼 ..

유튜브를 보면서 SpaceInvaders-v0 을 Google Colab에서 따라해보던 중 import gym env = gym.make("SpaceInvaders-v0") 위의 코드를 실행하면 Exception Traceback (most recent call last) in () ----> 1 env = gym.make("SpaceInvaders-v0") 4 frames /content/atari-py/atari_py/games.py in get_game_path(game_name) 18 path = os.path.join(_games_dir, game_name) + ".bin" 19 if not os.path.exists(path): ---> 20 raise Exception('ROM is miss..

이번주부터 회사의 동료분과 함께 강화학습에 대해서 공부해보기로 하여 마침! 결제해두고 제대로 활용하지 못하던 Google Colab Pro에서 OpenAI의 gym을 활용해서 여러 예제들을 직접 해보기로 했습니다. 유튜브에 나오는 대로 gym을 설치하고 환경을 만들고 이제 실행을 하려고 하는데! --------------------------------------------------------------------------- NoSuchDisplayException Traceback (most recent call last) in () 7 8 while not done: ----> 9 env.render() 10 action = random.choice([0, 1]) 11 n_state, reward..

with tf.Session() as sess: # Initialize TensorFlow variables sess.run(tf.global_variables_initializer()) sess.run(tf.global_variables_initializer()) for step in range(10001): cost_val, _ = sess.run([cost, train], feed_dict={X: x_data, Y: y_data}) if step % 200 == 0: print(step, cost_val) # Accuracy report h, c, a = sess.run([hypothesis, predicted, accuracy], feed_dict={X: x_data, Y: y_data}) pri..

from konlpy.tag import Mecab mecab = Mecab() print(mecab.pos("솜씨좋은장씨의 개발블로그")) 최근 Google Colab에서 mecab에 사용자 사전을 추가하는 방법에 대해서 문의 하시는 분이 많기도 하셨고 저도 mecab에서 사용자 사전을 추가하여 사용해야하는 경우가 생겨 작성해보았습니다. 2023.04.22 - [머신러닝 | 딥러닝/자연어처리] - Google Colab에서 mecab-ko-dic 사용자 사전 추가하기! (2023년 업데이트 버전)

ner 관련 작업을 진행하기 위하여 여러 라이브러리를 설치하는 과정에서 $ pip install transformers 위의 명령어를 활용하여 설치하려고 하였을 때 (pytorch_new_p36) ubuntu@nipa2020-0000:~$ pip install transformers Looking in indexes: http://ftp.daumkakao.com/pypi/simple Collecting transformers Downloading http://mirror.kakao.com/pypi/packages/19/22/aff234f4a841f8999e68a7a94bdd4b60b4cebcfeca5d67d61cd08c9179de/transformers-3.3.1-py3-none-any.whl (1.1 ..

pip install tensorflow-gpu conda install tensorflow-gpu 위의 명령어를 통해 tensorflow gpu버전을 설치한 이후에 제대로 GPU를 제대로 인식하는 방법은 다음과 같습니다. 먼저 설치가 제대로 되었는지 import를 해보고 오류가 나는지 안나는지 확인해봅니다. import tensorflow as tf 설치한 텐서플로우의 버전을 확인해봅니다. tf.__version__ '2.2.0' 여기까지 별다른 오류없이 잘 진행되었다면 아래의 코드를 통해 GPU 사용가능 여부를 확인하면 됩니다. from tensorflow.python.client import device_lib device_lib.list_local_devices() [name: "/device:C..

DACON 심리 성향 예측 AI 경진대회를 진행하면서 데이터 속 몇 개의 column을 일반 값에서 정수로 숫자를 변경한 이후에 이를 LGBMClassifier에 넣고 model.fit을 실행하려고 하니 ValueError: DataFrame.dtypes for data must be int, float or bool. Did not expect the data types in the following fields 위와 같은 오류가 발생하며 진행이 되지 않았습니다. 이를 해결하는 방법은 다음과 같습니다. train_x['gender'] = pd.to_numeric(train_x['gender']) 판다스의 to_numeric을 활용하여 데이터 타입을 변경해주면 됩니다. 읽어주셔서 감사합니다.

형태소 분석기로는 mecab을 주로 사용하다가 kakao에서 만든 khaiii를 활용하여 분석한 결과를 적용하면 현재 하고 있는 작업에서 어떤 변화가 있을까 궁금하여 설치해보게 되었습니다. khaiii는 kakao에서 만든 형태소 분석기로 세종 코퍼스와 그외 오류를 수정한 다양한 코퍼스 그리고 CNN을 기반으로 만들어진 형태소 분석기라고 합니다. kakao/khaiii Kakao Hangul Analyzer III. Contribute to kakao/khaiii development by creating an account on GitHub. github.com 파일 다운로드 $ git clone https://github.com/kakao/khaiii.git 먼저 git clone 명령어를 통해 설치..

은전한닢 프로젝트 - Winows 설치 방법 koshort/pyeunjeon 은전한닢 프로젝트와 mecab 기반의 한국어 형태소 분석기의 독립형 python 인터페이스 - koshort/pyeunjeon github.com Windows에서 mecab을 활용하여 작업을 할 일이 생겨 설치를 해야하여 찾아보던 중 pyeunjeon 이라는 패키지를 발견하여 설치를 진행해보니 잘 동작하는 것을 확인하였습니다. 그동안 윈도우에서는 설치가 어렵다! 라고만 들었는데 생각보다 쉽게 설치가 가능하여 조금 놀랐습니다. 설치방법은 다음과 같습니다. 설치 방법 > pip install eunjeon 여기서 설치 간 error: Microsoft Visual C++ 14.0 is required. 오류가 나는 경우에는 [Py..

Ai Hub에서 서버를 지원받아 이전에 멀티캠퍼스에서 진행해보았던 음성합성 프로젝트를 계속 진행해보기로 하였습니다. 음성합성 프로젝트는 carpedm20(김태훈님)님의 multi-speaker-tacotron-tensorflow 오픈소스를 활용하였습니다. carpedm20/multi-speaker-tacotron-tensorflow Multi-speaker Tacotron in TensorFlow. Contribute to carpedm20/multi-speaker-tacotron-tensorflow development by creating an account on GitHub. github.com 이 글에서는 해당 오픈소스를 실행 하면서 마주치는 다양한 이슈들과 그 해결 방법에 대해서 정리해보고자 합..

Ai Hub에서 GPU 서버를 지원받아 이전에 멀티캠퍼스에서 Tacotron을 활용한 음성합성을 다시 도전해보기위해서 데이터를 생성하고 학습을 시작하려고하니 ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directory 위와 같은 오류가 발생하면서 제대로 실행이 되지 않는 문제가 있었습니다. 원인 Tacotron에서 사용하는 TensorFlow의 버전이 1.3이고 이 TensorFlow 1.3에서 필요로하는 CUDA 버전이 8.0인데 현재 환경은 10.0을 사용하여 요구하는 CUDA 버전과 현재 사용중인 CUDA 버전이 맞지 않기 때문입니다. 해결방법 Ai Hub에서 제공해주는 서버에는 CUDA가 8.0 ..

MNIST 데이터를 활용하여 손글씨 분류를 해보기 위해서 Tensorflow 2.0을 활용하여 모델을 만들고 model.fit을 실행하였는데 ValueError: Shapes (32, 10) and (32, 1) are incompatible 위와 같은 에러가 발생하였습니다. 처음에는 데이터 전처리를 잘못한 것으로 생각하다가 아무리 봐도 데이터 전처리에 있어서는 문제가 없어 보여서 찾아보니 sparse_categorical_crossentropy를 loss사용하여 model을 compile할 때 metrics 에서 충돌이 일어나 발생하는 문제였습니다. 해결 방법은 아래와 같습니다. 에러가 발생하던 compile 방법 model.compile(optimizer=tf.keras.optimizers.Adam(..

평소에 공부하면서 딥러닝에 대한 기초적인 개념은 까먹고 있는 것 같아 패스트 캠퍼스의 강의를 통해 딥러닝에 대해서 처음부터 차근차근 다시 살펴보며 공부하기로 하였습니다. 앞으로 강의를 듣고 강의에서 기억했으면 좋겠다 하는 내용에 대해서 하나씩 적어보려합니다. 딥러닝의 전체 구조 딥러닝의 구조를 간단하게 살펴보면 Data를 Model에 넣고 예측 (Logit) 하고 예측한 값에 대해서 얼마나 틀렸는지 (Loss, 오류율)를 계산 한 후 이 오류율을 최소화하는 작업(Optm)을 거쳐 다시 그 값을 Model에 넣고 Loss가 최소화 될때까지 반복한 뒤 결과(Result)를 도출하는 방식입니다. 학생이 문제집을 풀었을때 틀린 갯수가 가장 적어지기 위해서 공부를 하는 것에 비유를 들어보면 학생이 문제집을 사서(..

핸즈온 머신러닝 127 페이지의 이진 분류기 훈련 코드를 실습해보던 중 from sklearn.linear_model import SGDClassifier sgd_clf = SGDClassifier(max_iter=5, random_state=42) sgd_clf.fit(X_train, y_train_5) 코드를 실행하니 다음과 같은 오류를 얻게 되었습니다. ValueError: The number of classes has to be greater than one; got 1 class 원인 [핸즈온머신러닝] 124페이지 MNIST 코드 - ImportError: cannot import name 'fetch_mldata' from 'sklearn.datasets' 해결방법 핸즈온 머신러닝 124페이지..

핸즈온 머신러닝 124페이지의 MNIST 코드를 실습해보던 중 from sklearn.datasets import fetch_mldata mnist = fetch_mldata('MNIST original') mnist MNIST 데이터를 import 하는 과정에서 --------------------------------------------------------------------------- ImportError Traceback (most recent call last) in ----> 1 from sklearn.datasets import fetch_mldata 2 3 mnist = fetch_mldata('MNIST original') 4 5 mnist ImportError: cannot im..

2021년 5월 24일 내용이 수정되었습니다.👏👏 원자력 발전소 상태판단 알고리즘을 도전해보면서 머신러닝을 공부하며 Gradient Boosing알고리즘 중의 하나인 LightGBM 알고리즘을 알게되었고 DACON KB 금융문자분석경진대회에서도 수상자들이 사용했다는 것을 알게되어 저도 이번 경진대회에서 활용해보기위해 검색하여 찾아 사용해본 내용을 정리해보았습니다. LGBM on Colab with GPU My experience with LGBM to enable GPU on Google Colab! medium.com 위의 글을 참고하여 직접실행해보며 오류가 나는 부분을 수정해보았습니다. 설치 방법 1. Colab 런타임 설정 중 하드웨어 가속기를 None에서 GPU로 바꾸어줍니다. 2. GitHub에..

시작하게 된 계기 지난 10월 28일 네이버 DEVIEW를 다녀온 이후 음성 합성에 대해서 관심을 가지게 되었고 같이 발표를 들었던 누나 형들과 함께 우리도 음성합성을 한번 해보자! 라는 목표가 생겨 프로젝트를 시작하게 되었습니다. 제가 군 생활을 할 당시에는 필요한 안내방송이 있을경우 제가 직접 녹음을 하고 그 녹음 파일을 재생하는 방식으로 했었습니다. 제 개인적인 최종 목표는 가능하다면 언젠가 오픈소스를 활용하여 학습시킨 음성합성 모델을 가지고 제가 안내방송을 녹음하고 그 안내방송 음성을 재생하는 것으로 안내방송을 했던, 제가 근무했던 부대에 찾아가 그 모델을 활용하여 부대에서 필요한 안내방송을 만들어 직접 방송해보고 싶습니다. 네이버 DEVIEW 2019 - 1일차를 다녀와서! 10월 28일 코엑스..

프로젝트를 진행하면서 네이버 기사 내용을 긍정/부정으로 분류해주는 기능을 넣자고 하여 구현해보았습니다. 모델을 만드는 것은 위키독스에서 제공하는 딥러닝을 이용한 자연어처리 입문에 나와있는 코드를 활용하였습니다. 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 0. 코드 관련 2020년 12월 22일 일부 코드 업데이트가 진행되었습니다. 아래의 코드의 대부분은 python과 keras를 공부한지 두달도 안된 상황에서 진행한 코드로 중간중간 설명이 이상하거나 제대로 동작하지 않는 부분이 있을 수도 있습니다. 양해부탁드립니다. 기사 제목 분류 관련 전체적인 코드 업데이트는 2021년에 진행할 예정입니다. 감사합니다. 솜장 드림. 1. 학습데이터, 테스트데이터 만들기 먼저 모델을 만들고..

1. 이 주제를 선정하게 된 계기 개인프로젝트로 어떤 것을 해볼까 고민하면서 처음에는 영화를 추천해주는 챗봇을 만들어 보려고 했다가 더 공부를하고 만들기로 하고 하루라는 짧은 시간안에 구현해볼 수 있는 다른 주제가 무엇이 있나 찾던 중, 제가 평소에 자주 이용하는 왓챠라는 페이지에서 제가 봤던 영화들 목록과 평점과 같은 데이터를 가지고 새로운 영화가 나왔을 때 내가 시청하고 나서 어떤 점수를 부여할 것인지 예측해주는 시스템이 떠올랐습니다. 제가 왓챠에 제공하는 데이터는 제가 봤던 영화의 목록과 그 영화에 부여하는 평점 정보 뿐인데 어떻게 아직 개봉하지 않은 영화들의 평점을 예측해서 보여주는가 고민을 해보았습니다. 고민하다가 떠올랐던 것이 제가 봤다고 한 영화의 줄거리와 그 영화에 부여된 평점, 그리고 장..

이 글은 아래링크의 강의를 보고 공부했던 내용을 정리한 내용입니다. 내용은 아직 공부 초반이라 많이 부족합니다. 공부하면서 점점 보완하여 업데이트 하도록 하겠습니다. 딥러닝 입문에서 활용까지 케라스(Keras) | T아카데미 온라인강의 1. 딥러닝 레이어(Layer)에 대한 개념을 '블록'에 비유하여 설명한다. 2. 케라스를 이용한 MLP, CNN, RNN, GAN 모델링 방법에 대해 알아본다. tacademy.skplanet.com Model을 구성하는 Network, Objective Function, Optimizer Model을 크게 3가지로 나누어 본다면 Network / Objective Function / Optimizer 3가지로 볼 수 있습니다 이 세가지를 레고 사람 블럭 에 비유하면 N..

요즘 멀티캠퍼스에서 자연어처리에 대한 교육을 받으며 사용했던 은전한닢 프로젝트 라이브러리인 Mecab-ko-dic을 Google Colab에서 간단한 몇가지 명령어를 통하여 설치하고 사용할 수 있도록 Shell Script를 작성해 보았습니다. Google Colab은 외부라이브러리의 영구적인 설치가 어려워 항상 다시 설치해주어야하여 쉽게 설치해보고자 만들어 보았습니다. 아이디어를 주신 복종순 강사님께 감사드립니다. 처음 만들어보는거라 Shell Script라 많이 미숙합니다. 보시고 부족한 점이나 수정해야할 점 들을 가감없이 알려주시면 감사하겠습니다. Shell Script실행 시 mecab-0.996-ko-0.9.2 mecab-ko-dic-2.1.1-20180720 가 설치됩니다. 2022년 1월 9..

mecab-ko-dic은 오픈 소스 형태소 분석 엔진인 MeCab을 사용하여, 한국어 형태소 분석을 하기 위한 프로젝트입니다. 말뭉치 학습과 사전 목록은 모두 21세기 세종계획의 성과물을 사용하였다고 합니다. 자세한 내용은 아래의 페이지에서 볼 수 있습니다. Bitbucket bitbucket.org 다음은 설치 과정입니다. 설치 환경은 Windows 10의 VirtualBox 가상머신에 설치되어있는 Ubuntu 18.04 LTS입니다. 설치 전 자바가 설치되어있는지 확인해보고 설치가 되어있지 않다면 JAVA를 먼저 설치하기 바랍니다. [Ubuntu]OpenJDK설치하기 먼저 apt-get을 Update해줍니다. $ sudo apt-get update 그 다음 OpenJDK를 설치합니다. $ sudo a..

먼저 새로운 노트북을 하나 만들어주고 셀에 아래의 코드를 입력해줍니다. import os, sys from google.colab import drive drive.mount('/content/mnt') nb_path = '/content/notebooks' os.symlink('/content/mnt/My Drive/Colab Notebooks', nb_path) sys.path.insert(0, nb_path) 코드를 입력하고 셀을 실행하게 되면 아래와 같이 링크 하나와 authorization code를 입력하는 창이 하나가 나오게 됩니다. 링크를 들어가면 아래와 같은 페이지가 새창으로 열립니다. 계정 정보가 쓰여있는 곳을 클릭해줍니다. 클릭 후 Google Drive File Stream이 내 G..

이 글은 Multicampus에서 강의를 해주신 복종순강사님의 수업시간에서 설치했던 과정을 정리한 내용입니다. 더 많은 내용은 아래에서 참고해주시기 바랍니다. swacademy - Overview javaexpert@nate.com. swacademy has 32 repositories available. Follow their code on GitHub. github.com 1. Virtual Box 설치하기 [Windows]Oracle VM VirtualBox설치하기(ver 5.2.32) 1. VirtualBox 설치 파일 다운로드 받기 설치하기 위해서는 설치파일과 Extension Pack 두가지를 다운로드 받아야합니다. 먼저 아래의 링크로 들어갑니다. https://www.virtualbox.or..