๋ฉํฐ์บ ํผ์ค ์ธ๋ค์ผํ ๋ฆฌ์คํธํ 4/14 ๋ชฉ ๋ชฉ์์ผ! ์ค๋์ CNN์ ์ค์ ์ฝ๋๋ก ๊ตฌํํด๋ณธ๋ค! ์ด๋ฏธ์ง ํ ์ฅ : 2์ฐจ์(X, T) → Convolution Layer :: Feature Map : 2์ฐจ์ ์ฌ๋ฌ ๊ฐ → Activation Map : 3์ฐจ์ → X ๋ฐ์ดํฐ(์ด๋ฏธ์ง ์ ๋ณด. ์ด๋ฏธ์ง ๊ฐ์, ์ธ๋ก, ๊ฐ๋ก, Channel) : 4์ฐจ์ Data โถ conv : ํน์ง์ ๋ฝ์๋ธ ์ด๋ฏธ์ง๊ฐ ์ฌ๋ฌ ์ฅ์ด ๋๋๋ก ๋ฐ๋ณต ์์ (์ด๋ฏธ์ง ๊ฐ์, Feature Map ์ธ๋ก, Feature Map ๊ฐ๋ก, filter์ ๊ฐ์) โถ Pooling Layer :: conv ์์ ์ ๊ฑฐ์น ์ฌ๋ฌ ์ฅ์ ๋ฐ์ดํฐ ์ฌ์ด์ฆ๋ฅผ ์ค์ โถ conv :: Pooling Layer๋ฅผ ๊ฑฐ์น ๋ฐ์ดํฐ์ ํน์ง์ ๋ ๋ฝ์๋ โถ FLATTEN :: 4์ฐจ์ → 2์ฐจ์(batch size ํฌํจํ ๋) 1. Cha.. ๋๋ณด๊ธฐ 4/13 ์ ์์์ผ! CNN(Convolutional Neural Network, convnet. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง)์ผ๋ก ๋ค์ด๊ฐ๋ค! Deep Learning(Deep Neural Network)์ ์ข ๋ฅ : - Computer Vision : ์ปดํจํฐ๊ฐ ์ด๋ฏธ์ง๋ ๋น๋์ค๋ฅผ ๋ณด๊ณ ์ฌ๋ฌ ๊ฐ์ฒด๋ฅผ ์๋ณํ๊ณ ํ์ ํ ์ ์๋๋ก ์ง์ํ๋ Computer Science ๋ถ์ผ. ๋ํ์ ์ธ ์๊ณ ๋ฆฌ์ฆ์ CNN. ๋ชฉ์ ์ pixel์ ์ดํดํ๋ ๋ฐฉ๋ฒ์ ๊ณ ์ํ๋ ๊ฒ - NLP(Natural Language Process) : ์์ฐ์ด ์ฒ๋ฆฌ. ๋ํ์ ์ธ ์๊ณ ๋ฆฌ์ฆ์ RNN, LSTM ์ด๋ฏธ์ง๋ฅผ ์ด๋ฃจ๋ ๊ฐ์ฅ ์์ ๋จ์ → pixel ์ด๋ฏธ์ง ์ขํ๊ณ (Image coordinate) - 2์ฐจ์ ndarray๋ก ํํ - pixel (์ธ๋ก, ๊ฐ๋ก) 1. ์ด๋ฏธ์ง ์ฒ๋ฆฌ(Im.. ๋๋ณด๊ธฐ 4/12 ํ ํ์์ผ! ํ์ฌ์ Deep Learning์ด ์ด๋ ์ ๋ ํจ์จ์ ๋ด๊ธฐ ์์ํ ์ด์ ์ ๋ํด ๊ณต๋ถํ๋ค. Weight์ Bias๋ฅผ ๋๋ค ์ด๊ธฐ๊ฐ์ผ๋ก ์ฌ์ฉํ๋ ๊ฒ์ Xievier/He's Initialization์ผ๋ก ๋์ฒดํ๊ณ , Vanishing Gradient ํ์์ Back-Propagation(ํ๋ ฌ์ฐ์ฐ, ์ญ์ ๋ฐฉํฅ์ผ๋ก W, b๋ฅผ Update)๊ณผ Activation ํจ์๋ฅผ Sigmoid ๋์ ReLU๋ฅผ ์ฌ์ฉํ๊ณ , ๊ณ์ฐํด์ผ ํ๋ W, b๋ฅผ Drop-out์ผ๋ก ์ฐ์ฐ์ ์ฌ์ฉ๋๋ Node๋ฅผ ์ค์์ผ๋ก์จ ํด๊ฒฐํจ 1. Multinomial Classification by Tensorflow 1.15 ver. import numpy as np import pandas as pd import tensorflow as tf imp.. ๋๋ณด๊ธฐ 4/11 ์ ์์์ผ! ์ค๋์ ๋ฅ๋ฌ๋๊ณผ ์ ๊ฒฝ๋ง์ ๋ํด ๋ฐฐ์ด๋ค! Perceptron์ Neuron ํ ๊ฐ Deep Learning : ํ ๊ฐ์ Logistic Regression์ ํํํ๋ node๊ฐ ์๋ก ์ฐ๊ฒฐ๋์ด ์๋ ์ ๊ฒฝ๋ง ๊ตฌ์กฐ๋ฅผ ๋ฐํ์ผ๋ก ํ ๊ฐ์ ์ ๋ ฅ์ธต, ํ ๊ฐ ์ด์์ ์๋์ธต(๋ง์์๋ก ํ์ต์ด ์ ๋จ. 1~3๊ฐ๊ฐ ์ ๋น), ํ ๊ฐ์ ์ถ๋ ฅ์ธต์ผ๋ก ์ด๋ฃจ์ด์ง feed forward(propagation). XOR ๋ฌธ์ ๋ node ํ ๊ฐ(perceptron)๋ก๋ ํ์ต์ด ์ ๋จ 1. Perceptron. GATE ์ฐ์ฐ(AND, OR, XOR ์ฐ์ฐ์)์ Logistic Regression๊ณผ Tensorflow 1.5 Ver.์ผ๋ก ๊ตฌํ import numpy as np import tensorflow as tf from sklear.. ๋๋ณด๊ธฐ 4/8 ๊ธ ๊ธ์์ผ! ๐ฑ๐ ์ค๋์ Regression์ ๋๋ธ๋ค~~ 4/11 ์์์ผ์ ๋จธ์ ๋ฌ๋ ํ๋ต ํ๊ฐ, 4/17 ์ผ์์ผ์ ์ํํ๊ฐ 4๊ฐ์ง ์ ์ถ์ด ์๋ค. ๊ฒฐ์ธก์น ์ฒ๋ฆฌ๋ ์ญ์ ํ๊ฑฐ๋, imputation(๋ณด๊ฐ, ๋์ฒด) - ํ๊ท ํ ๊ธฐ๋ฒ(๋ ๋ฆฝ๋ณ์๋ฅผ ๋ํ๊ฐ์ผ๋ก ๋์ฒด), ๋จธ์ ๋ฌ๋ ๊ธฐ๋ฒ(์ข ์๋ณ์๊ฐ ๋์. KNN) KNN(K-Nearest Neighbors, K-์ต๊ทผ์ ์ด์) : hyperparameter๋ k(=1์ผ ๋ ์ด๋ ์ ๋์ ์ฑ๋ฅ ๋ณด์ฅ)์ ๊ฑฐ๋ฆฌ์ธก์ ๋ฐฉ์(์ฃผ๋ก ์ ํด๋ผ๋์ ์ฌ์ฉ) ๋ฐ๋์ ์ ๊ทํ๋ฅผ ์งํํด์ผ ํจ. ๋ชจ๋ ๋ฐ์ดํฐ์ ๋ํด ๊ฑฐ๋ฆฌ๋ฅผ ๊ณ์ฐํด์ผ ํ๋ฏ๋ก ์๊ฐ์ด ์ค๋ ๊ฑธ๋ฆด ์ ์์ 1. Logistic Regression + KNN - BMI data import numpy as np import pandas as pd fro.. ๋๋ณด๊ธฐ 4/7 ๋ชฉ ๋ชฉ์์ผ! ์ค๋๋ Multinomial Classification๋ฅผ ๋ํ์ ์ธ ์์ (MNIST)๋ฅผ ํตํด ๋ฐฐ์ด๋ค~ ์์ผ๋ก ์ด ์ซ์๋ค๋ก ์ด๋ฃจ์ด์ง ๋ํ ๋ฐ์ดํฐ๋ฒ ์ด์ค~ MNIST ์ด๋ฏธ์ง๋ ๊ทธ ์์ฒด๊ฐ 2์ฐจ์์ด๊ณ ๊ทธ๋ฐ ๊ฒ ์ฌ๋ฟ์ด๊ธฐ ๋๋ฌธ์ 3์ฐจ์. ์ด๋ฏธ์ง๋ฅผ 1์ฐจ์์ผ๋ก ravel() ํด์ผ ํจ https://www.kaggle.com/competitions/digit-recognizer/data?select=test.csv Digit Recognizer | Kaggle www.kaggle.com Tensorflow Ver. 1.15์ ๋ฐฐ์ด ์ด๋ก ์ ์ฝ๋๋ก ์ดํดํ๊ธฐ์๋ ์ข์ง๋ง ์ฝ๋๊ฐ ๋๋ฌด ์ด๋ ต๋ค. 1. Multinomial Classification by Tensorflow Ver. 1.15 - MNIST import nump.. ๋๋ณด๊ธฐ 4/6 ์ ์์์ผ! ์ค๋์ Multinomial Classification์ ๋ฐฐ์ด๋ค. Linear Regression(์ฐ์์ ์ธ ์ซ์ ๊ฐ ์์ธก)์ด ๋ฐ์ ํ ๊ฒ์ด Logistic Regression → Classification(๋ถ๋ฅ๋ฅผ ํ๋จํ๋ ์์ธก) - Binary Classification(์ดํญ๋ถ๋ฅ) - Multinomial Classification(๋คํญ๋ถ๋ฅ) Logistic Regression์ ์ด์ง ๋ถ๋ฅ์ ํนํ๋จ SKlearn์ด ์ ๊ณตํ๋ ๋ถ๋ฅ๊ธฐ์ธ Gradient Descent(๊ฒฝ์ฌํ๊ฐ๋ฒ)๊ฐ ๋ฐ์ ํ ํํ์ธ SGD Classifier(Stochastic Gradient Descent, ํ๋ฅ ์ ๊ฒฝ์ฌํ๊ฐ๋ฒ) 1. Binary Classification - ์์ค์ฝ์ ์ ๋ฐฉ์ ๋ฐ์ดํฐ by Gradient Descent Cl.. ๋๋ณด๊ธฐ 4/5 ํ ํ์์ผ! Logistic Regression์ ํ์ฉํด ๋จธ์ ๋ฌ๋ ์งํ ์ ์ฃผ์์ฌํญ์ ์์๋ณธ๋ค. ์์ผ๋ก ์ฐ๋ฆฌ๋ Classification(์ดํญ๋ถ๋ฅ)์ Metrics๋ก Accuracy๋ฅผ ์ฌ์ฉํ ์์ ์ด๋ค. ๋ชจ๋ธ ํ๊ฐ ์ ๊ณ ๋ คํด์ผ ํ๋ ๊ฒ๋ค 1. learning rate(ํ์ต๋ฅ ) : loss ๊ฐ์ ๋ณด๋ฉด์ ํ์ต๋ฅ ์ ์กฐ์ ํด์ผ ํจ. ๋ณดํต 1์ ๋ง์ด๋์ค 4์น์ผ๋ก ์ก์ ํ์ต๋ฅ ์ด ๋๋ฌด ํฌ๋ค๋ฉด global minima(W')๋ฅผ ์ฐพ์ ์ ์๊ฒ ๋จ → OverShooting ๋ฐ์ ํ์ต๋ฅ ์ด ์์ฃผ ์๋ค๋ฉด local minima ์ฐพ๊ฒ ๋จ 2. Normalization(์ ๊ทํ) : MinMax Scaling - 0 ~ 1. ์ด์์น์ ๋ฏผ๊ฐํจ Standardization - ํ์คํ, Z-Score. ์๋์ ์ผ๋ก ์ด์์น์ ๋๊ฐํจ, ๋ชจ๋ ์นผ๋ผ์.. ๋๋ณด๊ธฐ ์ด์ 1 2 3 4 5 ยทยทยท 8 ๋ค์