๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

728x90

๋ฉ€ํ‹ฐ์บ ํผ์Šค

7ํšŒ ์ฐจ | 4/4 ์›” 7ํšŒ ์ฐจ! ๋ฒŒ์จ ์Šคํ„ฐ๋”” 4์ฃผ ์ฐจ๋‹ค~ ์ฒซ์งธ ์ฃผ๋Š” ํƒ€์ดํƒ€๋‹‰, ๋‘˜์งธ ์ฃผ๋Š” MovieLens EDA · ์‹œ๊ฐํ™” · ๊ธฐ์ˆ ํ†ต๊ณ„, ์…‹์งธ ์ฃผ๋Š” ์บ๊ธ€ ๋ฐ ๋ฐ์ด์ฝ˜์˜ ์˜ˆ์ œ ํ˜น์€ ๊ฐ์ž ์ˆ˜์ง‘ํ•œ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ์ง„ํ–‰ํ•˜๋Š” ๋จธ์‹ ๋Ÿฌ๋‹ ํ”„๋กœ์ ํŠธ๊ฐ€ ์žˆ์—ˆ๋‹ค. ์ด๋ฒˆ ์ฃผ๋Š” ์ง€๋‚œ๋ฒˆ์— ์ˆ˜์ •ํ•œ ์ปค๋ฆฌํ˜๋Ÿผ์— ๋”ฐ๋ผ ๋ฉ€์บ  ์ฃผ๊ฐ„ ์ˆ˜์—…์—์„œ ๋ฐฐ์šด ์ธ๊ณต์‹ ๊ฒฝ๋ง์„ ๋ณต์Šตํ•˜๊ณ  ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ณต๋ถ€ํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๊ฐ€๋‹ฅ์„ ์žก์•˜์—ˆ๋‹ค. ํ•˜์ง€๋งŒ ์•„์ง ์„ฑ๋Šฅํ‰๊ฐ€(Metrics)๋ฅผ ๋ฐฐ์šฐ๊ณ  ์žˆ์–ด, ์•„์ง ๋”ฅ๋Ÿฌ๋‹์œผ๋กœ ์ง„๋„๊ฐ€ ๋‚˜๊ฐ€์ง€ ์•Š์•˜๋‹ค. ๋‚ด์ผ๊นŒ์ง€ ์ œ์ถœํ•ด์•ผ ํ•˜๋Š” ์ˆ˜ํ–‰ํ‰๊ฐ€๋„ ์žˆ์–ด, ์ด์— ๋Œ€ํ•œ ๊ฐ์ž์˜ ์ง„ํ–‰ ์ƒํ™ฉ์„ ๋ฆฌ๋ทฐํ•˜๋Š” ๊ฒƒ์œผ๋กœ ๋Œ€์ฒดํ–ˆ๋‹ค. (๋ฐ์ดํ„ฐ ๋ถ„์„, ๋ฐ˜๋ณต๋ฌธ, ๋ถˆ๋ฆฐ ์ธ๋ฑ์‹ฑ, ์ „์ฒ˜๋ฆฌ, ์ •๊ทœํ™”, ๊ฒฐ์ธก์น˜ · ์ด์ƒ์น˜ ์ฒ˜๋ฆฌ ๋“ฑ ์Šคํƒ€์ผ์ด ๋‹ค ๋‹ค๋ฅด๋‹ค. ์ฐธ๊ณ ํ•ด์„œ ์ตœ์ ์˜ ๋ฐฉ๋ฒ•์„ ์ตํžˆ์ž) ์šด์˜์ง„ ํšŒ์˜๋ฅผ ๊ฑฐ์ณ ์ •ํ•œ ์ปค.. ๋”๋ณด๊ธฐ
4/4 ์›” ์›”์š”์ผ! ์˜ค๋Š˜์€ ๊ธˆ์š”์ผ์— ์‹ค์Šต ์˜ˆ์ œ๋กœ ์ฃผ์–ด์กŒ๋˜ admission(๋Œ€ํ•™์› ํ•ฉ๊ฒฉ ์—ฌ๋ถ€) ๋ฐ์ดํ„ฐ์…‹์„ Sklearn, Tensorflow๋กœ ๊ตฌํ˜„ํ•˜๊ณ , ์ง€๋‚œ์ฃผ์— ๋ฐฐ์šด Logistic Regression์„ ํ™œ์šฉํ•ด ํ‰๊ฐ€์ง€ํ‘œ(Metrics)๋ฅผ ์•Œ์•„๋ณธ๋‹ค. 1. Logistic Regression by Sklearn import numpy as np import pandas as pd import tensorflow as tf from sklearn import linear_model from sklearn.preprocessing import MinMaxScaler from scipy import stats import matplotlib.pyplot as plt import warnings warnings.filter.. ๋”๋ณด๊ธฐ
6ํšŒ ์ฐจ | 4/1 ๊ธˆ 6ํšŒ ์ฐจ! ์Šคํ„ฐ๋”” ์ถœ์„๋ถ€ ๋ณด๋‹ค ๋ณด๋‹ˆ, ๊ต์œก์ด ์–ผ๋งˆ ๋‚จ์ง€ ์•Š์„ ๊ฑธ ์‹ค๊ฐํ•œ๋‹ค. 6์›” 28์ผ์— ๋๋‚˜๋Š” ๊ต์œก ๊ธฐ๊ฐ„ ์ค‘ AI์™€ ์œต๋ณตํ•ฉ ํ”„๋กœ์ ํŠธ์— ๋“ค์–ด๊ฐ€๋Š” ๊ธฐ๊ฐ„์„ ์ œ์™ธํ•˜๋ฉด, ์ˆ˜์—…์€ 16์ผ ๋‚จ์•˜๋‹ค. (๋จธ์‹ ๋Ÿฌ๋‹ ๊ต์œก 2์ผ + ๋”ฅ๋Ÿฌ๋‹ ๊ต์œก 14์ผ) ํ”„๋กœ์ ํŠธ ์‹œ์ž‘ ์ „ ๋‚จ์€ ์Šคํ„ฐ๋”” ํšŸ์ˆ˜๋„ 6๋ฒˆ.. ๊ธฐ๊ฐ„์ด ์งง๊ณ  ๋ฐฐ์šธ ์–‘์ด ๋งŽ๊ณ  ์‹ฌ๋„ ์žˆ๋Š” ๋‚ด์šฉ์ด๋‹ค ๋ณด๋‹ˆ ๋ฐฐ์šธ ๋•Œ ์ œ๋Œ€๋กœ ์ฒด๋‚ดํ™” ํ•ด์•ผ ํ•œ๋‹ค!! ๐Ÿฑ‍๐Ÿ‰ ์˜ค๋Š˜์€ ์ง€๋‚œ์ฃผ ๊ธˆ์š”์ผ์— ๊ฐ์ž ์„ ์ •ํ•œ ๋จธ์‹ ๋Ÿฌ๋‹ ํ”„๋กœ์ ํŠธ๋ฅผ ๋ฐœํ‘œํ–ˆ๋‹ค. ์Šคํ„ฐ๋”” ์ธ์› ๋Œ€๋ถ€๋ถ„์ด ๋ฐ์ด์ฝ˜ ์˜ˆ์ œ๋กœ ํ”„๋กœ์ ํŠธ๋ฅผ ์ง„ํ–‰ํ•˜๊ณ  ์‹ค์ œ๋กœ ์™„์„ฑํ•œ ์ฝ”๋“œ ์ œ์ถœ๋„ ํ•˜์˜€๋”๋ผ! ๐Ÿ‘ ๊ฒฐ์ธก์น˜๊ฐ€ ์žˆ๊ณ , feature ๋ณ„๋กœ ํ˜•ํƒœ๊ฐ€ ๋‹ค๋ฅด๊ฑฐ๋‚˜, ์šฐ๋ฆฌ๊ฐ€ ๋ฐฐ์šด ํšŒ๊ท€๋งŒ ์“ฐ๋Š” ๊ฒƒ์ด ์•„๋‹Œ ๋ถ„๋ฅ˜ ๋“ฑ ๋‹ค์–‘ํ•œ ๋ชจ๋ธ์„ ํ•™์Šตํ•˜๋Š”๋ฐ ์“ฐ๋Š” ๋™๋ฃŒ๋“ค. ๋‚˜๋Š” ์ž‘๊ณ  ์†Œ์ค‘ํ•˜๊ณ  ๊น”๋”ํ•œ ๋ฐ์ดํ„ฐ .. ๋”๋ณด๊ธฐ
4/1 ๊ธˆ ๊ธˆ์š”์ผ! ๐Ÿ˜Ž ์–ด์ œ ์ž ๊น ์†Œ๊ฐœํ•œ Logistic Regression์„ ๋ฐฐ์šด๋‹ค~ Linear Regression(์—ฐ์†์ ์ธ ์ˆซ์ž ๊ฐ’ ์˜ˆ์ธก)์ด ๋ฐœ์ „ํ•œ ๊ฒƒ์ด Logistic Regression → Classification(๋ถ„๋ฅ˜๋ฅผ ํŒ๋‹จํ•˜๋Š” ์˜ˆ์ธก) - Binary Classification(์ดํ•ญ๋ถ„๋ฅ˜) - Multinomial Classification(๋‹คํ•ญ๋ถ„๋ฅ˜) ๊ทธ๋ž˜ํ”„๋ฅผ ๋ณผ ์ˆ˜ ์žˆ๋Š” ์œ ํ‹ธ๋ฆฌํ‹ฐ ๋ชจ๋“ˆ(mglearn)์„ ์ถ”๊ฐ€์ ์œผ๋กœ ์„ค์น˜ํ•˜์ž conda activate maching_TF15 pip install mglearn conda install์€ ์ด๋ฏธ ์„ค์น˜๋˜์–ด ์žˆ๋Š” ๋ชจ๋“ˆ, ํŒจํ‚ค์ง€์— ๋Œ€ํ•œ Dependency๋ฅผ ๊ณ ๋ คํ•ด์„œ ์ตœ์ ์ธ ๋ฒ„์ „์„ ์„ค์น˜, pip install์€ ๊ทธ๋ƒฅ ๊น”์•„๋ฒ„๋ฆผ Logistic Regression : L.. ๋”๋ณด๊ธฐ
3/31 ๋ชฉ ๋ชฉ์š”์ผ! ์˜ค๋Š˜์€ ์šฐ๋ฆฌ๊ฐ€ ์ฃผ๋ ฅ์œผ๋กœ ์‚ฌ์šฉํ•  Tensorflow๋ฅผ ๋ฐฐ์šด๋‹ค! ๐Ÿฑ‍๐Ÿ ์ˆ˜ํ–‰ํ‰๊ฐ€ ๋˜ ๋‚˜์™”๋„น.. ๋ฐ์ดํ„ฐ ํ•ธ๋“ค๋ง 2 + ๋จธ์‹ ๋Ÿฌ๋‹(๋‹ค์ค‘์„ ํ˜•ํšŒ๊ท€) 1. 4/5 ํ™”์š”์ผ๊นŒ์ง€ ์ œ์ถœ!! Ozone ๋ฐ์ดํ„ฐ๋กœ ๋‹ค์ค‘์„ ํ˜•ํšŒ๊ท€๋ฅผ 3๊ฐ€์ง€ ๋ฐฉ๋ฒ•(Python, Sklearn, Tensorflow)์œผ๋กœ ๊ตฌํ˜„, ์˜ˆ์ธก์น˜๊ฐ€ ๋น„์Šทํ•˜๊ฒŒ ๋‚˜์™€์•ผ ํ•œ๋‹ค! ๋‹น์—ฐํžˆ ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ(๊ฒฐ์น˜๊ฐ’, ์ด์ƒ์น˜, ์ •๊ทœํ™”)๋„~ ๊ฐ€์žฅ ๋งŽ์ด ์“ฐ์ด๋Š” ๋”ฅ๋Ÿฌ๋‹ ์˜คํ”ˆ์†Œ์Šค ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” Google์˜ Tensorflow์™€ Facebook์˜ PyTorch~ Sklearn์€ ๋ฐ์ดํ„ฐ ์–‘๊ณผ ๋ณ€์ˆ˜๊ฐ€ ๋งŽ์•„์ง€๋ฉด ์†๋„๊ฐ€ ๊ต‰์žฅํžˆ ๋Š๋ ค์ง€๊ธฐ ๋•Œ๋ฌธ์—, Tensorflow๋ฅผ ์ด์šฉํ•œ๋‹ค. Tensorflow 2.0 ver.์ด ๋“ฑ์žฅํ•˜๋ฉด์„œ ์ด์ „ ๋ฒ„์ „๊ณผ๋Š” ์™„์ „ํžˆ ๋‹ค๋ฅด๊ฒŒ ๋ฐ”๋€Œ์—ˆ๋‹ค. ๊ธฐ์กด์— ๋งŒ๋“ค์—ˆ๋˜ ๊ฐ€์ƒํ™˜๊ฒฝ(ma.. ๋”๋ณด๊ธฐ
3/30 ์ˆ˜ ์ˆ˜์š”์ผ! ์–ด์ œ ์‚ฌ์šฉํ•œ Ozone data๋ฅผ Python๊ณผ Sklearn์œผ๋กœ Simple Linear Regression(๋‹จ์ˆœ ์„ ํ˜• ํšŒ๊ท€)์„ ๊ตฌํ˜„ํ–ˆ์„ ๋•Œ, ์™œ ๋ชจ์–‘์ด ๋‹ค๋ฅธ์ง€ ์•Œ์•„๋ณด์ž~ ์ด์œ  1. Missing Value(๊ฒฐ์น˜๊ฐ’) ์ฒ˜๋ฆฌ - ์‚ญ์ œ : ์ „์ฒด ๋ฐ์ดํ„ฐ๊ฐ€ 100๋งŒ ๊ฑด ์ด์ƒ์ด๋ฉฐ ๊ฒฐ์น˜๊ฐ’์ด 5% ์ด๋‚ด์ผ ๋•Œ - ๋Œ€์ฒด : ๋Œ€ํ‘œ๊ฐ’์œผ๋กœ ๋Œ€์ฒด(ํ‰๊ท , ์ค‘์œ„, ์ตœ๋Œ€, ์ตœ์†Œ, ์ตœ๋นˆ) ํ˜น์€ ๋จธ์‹ ๋Ÿฌ๋‹ ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉ(๋” ์ข‹์€ ๋ฐฉ์‹! ๊ฒฐ์น˜๊ฐ’์ด ์ข…์†๋ณ€์ˆ˜์ผ ๋•Œ) ์ด์œ  2. ์ด์ƒ์น˜ ์ฒ˜๋ฆฌ ์ด์ƒ์น˜๋Š” ๊ฐ’์ด ์ผ๋ฐ˜์ ์ธ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ์— ๋น„ํ•ด ํŽธ์ฐจ๊ฐ€ ํฐ ๋ฐ์ดํ„ฐ์ด๊ธฐ ๋•Œ๋ฌธ์— ํ‰๊ท , ๋ถ„์‚ฐ์— ํฐ ์˜ํ–ฅ์„ ๋ฏธ์นจ → ๋ฐ์ดํ„ฐ๋ฅผ ์ƒ๋‹นํžˆ ๋ถˆ์•ˆํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ์š”์†Œ - ์ง€๋Œ€๊ฐ’ : ๋…๋ฆฝ๋ณ€์ˆ˜(์›์ธ)์— ์žˆ๋Š” ์ด์ƒ์น˜ - Outlier : ์ข…์†๋ณ€์ˆ˜(๊ฒฐ๊ณผ)์— ์žˆ๋Š” ์ด์ƒ์น˜ 1. ์ด์ƒ์น˜.. ๋”๋ณด๊ธฐ
5ํšŒ ์ฐจ | 3/29 ํ™” 5ํšŒ ์ฐจ! ์ง€๋‚œ์ฃผ ๊ธˆ์š”์ผ์— ๊ฐ์ž ์„ ์ •ํ•œ ๋จธ์‹ ๋Ÿฌ๋‹ ํ”„๋กœ์ ํŠธ ์ฃผ์ œ์˜ ์ง„ํ–‰์ƒํ™ฉ(EDA, ๋ฐ์ดํ„ฐ ํ•ธ๋“ค๋ง, ์‹œ๊ฐํ™”, ๊ธฐ์ˆ ํ†ต๊ณ„, ๋ชจ๋ธ๋ง)์„ ๋ฆฌ๋ทฐํ–ˆ๋‹ค. ๊ธˆ์š”์ผ์€ ์ „์ฒด ๋ชจ์ž„์—์„œ 10๋ถ„์”ฉ ์ตœ์ข… ๋ฆฌ๋ทฐ! ๊ธฐ์กด์— ๊ณจ๋ž๋˜ ์ฃผ์‹ ์ข…๋ฃŒ ๊ฐ€๊ฒฉ ์˜ˆ์ธก์€ ๋Œ€ํšŒ๊ฐ€ ๋งˆ๊ฐ๋˜์–ด ์ด๊ณณ์ €๊ณณ ์ฝ”๋“œ ๋ฆฌ๋ทฐํ•œ ๊ณณ๋“ค์„ ๋’ค์ ธ๋„, ๋ชจ๋ธ๋ง์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ์…‹(stock_list.csv : ์ข…๋ชฉ ๋ฒˆํ˜ธ ๋ฐ์ดํ„ฐ, sample_submission.csv)์„ ๊ตฌํ•  ์ˆ˜๊ฐ€ ์—†๊ธฐ์— ๋ถ€๋“์ดํ•˜๊ฒŒ๋„ ๊ธฐ์กด์— ์บ๊ธ€ ์˜ˆ์ œ๋กœ ๊ณจ๋ž๋˜ ๋ณด์Šคํ„ด ์ง‘๊ฐ’ ์˜ˆ์ธก์œผ๋กœ ๋ณ€๊ฒฝํ–ˆ๋‹ค. ๋‚ด๊ฐ€ ์ผํ•˜๊ณ  ์‹ถ์€ ๋ถ„์•ผ๋„ ์ž์‚ฐ์šด์šฉ์˜ ๋กœ๋ณด์–ด๋“œ๋ฐ”์ด์ € ๋ถ€๋ฌธ์ด๊ธฐ ๋•Œ๋ฌธ์—, ๋‚˜์ค‘์— ๊ผญ ์ฃผ์‹ ๊ฐ€๊ฒฉ ์˜ˆ์ธก์„ ๊ตฌํ˜„ํ•ด ๋ณผ ์˜ˆ์ •์ด๋‹ค! https://dacon.io/competitions/official/235857/overview/descrip.. ๋”๋ณด๊ธฐ
3/29 ํ™” ํ™”์š”์ผ! ์˜ค๋Š˜์€ ์–ด์ œ ๋ฐฐ์šด Simple Linear Regression(๋‹จ์ˆœ ์„ ํ˜• ํšŒ๊ท€)์„ ์ฝ”๋“œ๋กœ ๊ตฌํ˜„ํ•œ๋‹ค. 1. Training Data Set ์ค€๋น„ : Data pre-processing(๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ). ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ํ˜•ํƒœ๋กœ ์ค€๋น„ 2. Linear Regression Model์„ ์ •์˜ : y = Wx+b(์˜ˆ์ธก ๋ชจ๋ธ). hypothesis(๊ฐ€์„ค) 3. ์ตœ์ ์˜ W(weight, ๊ฐ€์ค‘์น˜), b(bias, ํŽธ์ฐจ)๋ฅผ ๊ตฌํ•˜๋ ค๋ฉด loss function(์†์‹คํ•จ์ˆ˜)/cost function(๋น„์šฉํ•จ์ˆ˜) → MSE 4. Gradient Descent Algorithm(๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•) : loss function์„ ํŽธ๋ฏธ๋ถ„(W, b) × learning rate 5. ๋ฐ˜๋ณตํ•™์Šต ์ง„ํ–‰ 1. Training Dat.. ๋”๋ณด๊ธฐ

728x90