민팽로그

데이터셋은 아래 링크에서 구할 수 있음 https://archive.ics.uci.edu/ml/index.php UCI Machine Learning Repository Welcome to the UC Irvine Machine Learning Repository! We currently maintain 588 data sets as a service to the machine learning community. You may view all data sets through our searchable interface. For a general overview of the Repository, please visit ou archive.ics.uci.edu linear_regression: 직선으로 표현..

'apple'이라는 단어는 문맥에 따라 사과가 되기도, 회사가 되기도 함. 사람은 이러한 차이를 쉽게 인식할 수 있지만 기계가 이해하기는 어려움. 따라서 단어를 수치적으로 표현하여 기계가 이해할 수 있도록 Word Embedding 해야 함. 쉽게 말해서 Word Embedding은 텍스트를 수로 표현한 것! 같은 문자라고 하더라도 의미에 따라 다른 수치로 표현할 수 있음. (단어를 사전을 사용하여 매핑하고 이를 벡터로 만드는 것) 자연어 처리 관련 용어 Document(문서) Corpus(말뭉치): 텍스트(문서)의 집합 Token(토큰): 단어처럼 의미를 가지는 요소 Morphemes(형태소): 언어에서 의미를 가지는 최소단위 POS(품사): 명사, 동사 등 Stopword(불용어): I, my, me..

실습 내용 - 모델의 성능을 높이기 위해 adam 함수의 하이퍼파라미터 변경하기 - 임의의 input을 모델에 넣어 감정 분석 결과 확인하기 핵심 코드 1. accuracy 82% 이상으로 높이기(지난시간 모델 부분 수정) # 3-3 from sklearn.model_selection import train_test_split from tensorflow import keras from keras.preprocessing import sequence from keras import layers, models, optimizers import numpy as np # 3-1: sklearn를 사용하여 train과 test 분리 x_train, x_test , y_train , y_test = train_t..

1. GD(Gradient Descent) 2. SGD(Se /gradient Descent) 3. momentum : 관성을 적용하여 GD, SGD가 0에 수렴하는 부분에서 끊임없이 진동하는 문제점을 보완 4. adagrad(adaptive gradient) : 고정된 학습률 값으로 인한 문제점을 해결 5. adam(adagrad + momentum) Momentum momentum: 관성 $$ v_{t}x(상수:0.9정도)=v_{t-1}+lr\nabla_{w}L(w) $$ $$ w_{t}=w_{t-1}-v_{t} $$ https://ynebula.tistory.com/26 [Deep Learning-딥러닝]가중치 조정 - Momentum 모멘텀은 신경망의 학습 안정성과 속도를 높여 학습이 잘 하려고 ..

실습 내용 - 전 시간 실습 리뷰: 한글 데이터를 토큰으로 분리하여 train 데이터셋 만들기, 정수 인코딩 - sklearn : train, test split, 전처리한 train과 test로 분리 - 학습 진행 : vocab size, sequence 길이 조절 sklearn을 사용하여 train과 test로 분리 from sklearn.model_selection import train_test_split #sklearn를 사용하여 train과 test 분리 x = [0,1,2,3,4,5,6,7,8,9,10] y = [0,1,2,3,4,5,6,7,8,9,10] x_train, x_test , y_train , y_test = train_test_split(x,y,test_size = 0.2) - ..

실습 내용 - 한글 데이터를 토큰으로 분리하여 train 데이터셋 만들기 - 정수 인코딩: 토큰화된 train 데이터셋을 벡터로 변환 konlpy(코엔엘파이) 라이브러리 설치 - 한국어 정보처리를 위한 파이썬 패키지 pip install konlpy https://konlpy.org/ko/latest/ KoNLPy: 파이썬 한국어 NLP — KoNLPy 0.5.2 documentation KoNLPy: 파이썬 한국어 NLP KoNLPy("코엔엘파이"라고 읽습니다)는 한국어 정보처리를 위한 파이썬 패키지입니다. 설치법은 이 곳을 참고해주세요. NLP를 처음 시작하시는 분들은 시작하기 에서 가볍게 konlpy.org 과제 코드 from konlpy.tag import Komoran from collectio..

from keras.preprocessing import sequence from keras.datasets import imdb //불러올 데이터셋 from keras import layers, models max_features=20000 maxlen=80 (x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features) x_train = sequence.pad_sequences(x_train, maxlen=maxlen) x_test = sequence.pad_sequences(x_test, maxlen=maxlen) #functional 방식 (layer를 add하는 방식은 sequential) x = layers.Input(..

RNN 현재 input 값이 바로 직전 input에 대한 output 값에 영향을 받는 구조. $$ h_{t}=wx_{t}+b+h(x_{t-1}) $$ rnn은 전 단계의 입력을 다음 단계가 기억할 수 있다는 특징이 있지만 정규화 과정을 통해 input값이 줄어 전달되기 때문에 input의 수가 많아질수록 성능이 떨어진다는 한계가 있음 LSTM(Long Short Term Memory) RNN의 한계를 극복하기 위해 이전 입력에 대한 정보 뿐만 아니라 이전 입력의 이전 입력에 대한 정보까지 저장할 수 있음 $$ h_{t}=wx_{t}+b+h(x_{t-1})+h(x_{t-2}) $$ forget gate를 두어 특정 입력에 대해서는 현재 입력과 이전 입력에 대한 정보 까지만 기억하게 하는 부분도 있음. 즉..

MLP에서 데이터 전처리의 중요성 및 활성화 함수의 필요성 데이터를 전처리 하게 되면 오차가 줄어들게 된다. 하지만 처음에 input 값을 0~1 사이의 값으로 전처리를 해도 output의 값의 범위는 매우 클 수도 있고 매우 작을 수도 있다. 이 값들이 다시 input으로 들어가게 되면 처음 전처리를 했던 것이 무의미해지게 된다. 또한 선형 함수에서는 아무리 레이어를 깊게 쌓아도 값이 선형적으로 변하는 것일 뿐이기 때문에 추론에 있어서 큰 의미가 없게 된다. 이러한 이유로 활성화 함수를 레이어 사이사이에 적용하여 데이터 정규화 및 데이터를 비선형 분포로 바꾸는 과정을 거치게 된다. 활성화 함수는 hidden layer에서는 데이터의 정규화 및 데이터를 비선형적으로 만들어 다양한 추론이 가능하도록 하기 ..

선형 회귀(Linear Regression) $$ H(x)=Wx+b $$ 1. 초기에 랜덤한 w와 b값을 생성 -> 초기 w, b값은 정답과는 거리가 멀 것. 2. 가설과 실제 정답 간의 차이(오차, 손실, 비용, loss, cost)를 구함 -> H(가설) - Y(정답) 3. 손실함수의 값을 최소화 할 수 있는 W, b를 찾아내야 함 MLR(Multi-variable Linear Regression) $$ y=Wx_{1}+Wx_{2}+...+Wx_{i}+b $$ MLP(Multi-variable Linear perceptron)처럼 문자 그대로 다중 선형 회귀로, 입력이 여러개임. 예측값이 여러 요소들의 영향을 받음 -> 최근에 이 기술을 기반으로 한 분야를 딥러닝이라고 함 손실 함수(Loss Func..