'머신러닝' 태그의 글 목록 (3 Page)

본문 바로가기

728x90

머신러닝

3/30 수 수요일! 어제 사용한 Ozone data를 Python과 Sklearn으로 Simple Linear Regression(단순 선형 회귀)을 구현했을 때, 왜 모양이 다른지 알아보자~ 이유 1. Missing Value(결치값) 처리 - 삭제 : 전체 데이터가 100만 건 이상이며 결치값이 5% 이내일 때 - 대체 : 대표값으로 대체(평균, 중위, 최대, 최소, 최빈) 혹은 머신러닝 기법을 사용(더 좋은 방식! 결치값이 종속변수일 때) 이유 2. 이상치 처리 이상치는 값이 일반적인 다른 데이터에 비해 편차가 큰 데이터이기 때문에 평균, 분산에 큰 영향을 미침 → 데이터를 상당히 불안하게 만드는 요소 - 지대값 : 독립변수(원인)에 있는 이상치 - Outlier : 종속변수(결과)에 있는 이상치 1. 이상치.. 더보기

5회 차 | 3/29 화 5회 차! 지난주 금요일에 각자 선정한 머신러닝 프로젝트 주제의 진행상황(EDA, 데이터 핸들링, 시각화, 기술통계, 모델링)을 리뷰했다. 금요일은 전체 모임에서 10분씩 최종 리뷰! 기존에 골랐던 주식 종료 가격 예측은 대회가 마감되어 이곳저곳 코드 리뷰한 곳들을 뒤져도, 모델링에 필요한 데이터셋(stock_list.csv : 종목 번호 데이터, sample_submission.csv)을 구할 수가 없기에 부득이하게도 기존에 캐글 예제로 골랐던 보스턴 집값 예측으로 변경했다. 내가 일하고 싶은 분야도 자산운용의 로보어드바이저 부문이기 때문에, 나중에 꼭 주식 가격 예측을 구현해 볼 예정이다! https://dacon.io/competitions/official/235857/overview/descrip.. 더보기

3/29 화 화요일! 오늘은 어제 배운 Simple Linear Regression(단순 선형 회귀)을 코드로 구현한다. 1. Training Data Set 준비 : Data pre-processing(데이터 전처리). 사용할 수 있는 형태로 준비 2. Linear Regression Model을 정의 : y = Wx+b(예측 모델). hypothesis(가설) 3. 최적의 W(weight, 가중치), b(bias, 편차)를 구하려면 loss function(손실함수)/cost function(비용함수) → MSE 4. Gradient Descent Algorithm(경사하강법) : loss function을 편미분(W, b) × learning rate 5. 반복학습 진행 1. Training Dat.. 더보기

3/28 월 월요일! 금요일에 이어 머신러닝 들어간다~ Weak AI의 머신러닝 기법들 : 지도 학습, 비지도 학습, 강화 학습 1. Regression(회귀) : 데이터에 영향을 주는 조건들의 영향력을 고려해서, 데이터에 대한 조건부 평균을 구하는 기법 * 평균을 구할 때 주의해야 할 점 : 평균을 구하는 데이터에 이상치가 있을 경우 대표값으로 사용하기 어려움. 정규분포여야 함! 고전적 선형 회귀 모델(Classical Linear Regression Model) 단순 선형 회귀(Simple Linear Regression) import numpy as np import pandas as pd import matplotlib.pyplot as plt df = pd.DataFrame({'공부시간(x)': [1,2,3.. 더보기

4회 차 | 3/25 금 4회 차! 화요일에 이어 조별로 머신러닝 수행평가 리뷰를 진행했다~ 인원이 단출해서 진행 시간이 알맞고 자세한 피드백을 받을 수 있지만, 적은 인원과 각자 실력 편차가 클 경우 리뷰가 편협할 수 있다는 것이 단점.. 이번 주는 멀티캠퍼스 수행평가용으로 제공된 MovieLens 데이터 세트의 문제를 풀고 아래와 같이 공부했다. 1. 수행평가 문제들 모두 하나씩 관련된 내용으로 시각화 하기 : scatter, histogram, heatmap, boxplot 만들었다. → 도수분포표(계급, 도수 + 계급값, 상대도수, 누적 상대도수) 만들어보자! 2. 10개 이상의 데이터 핸들링해보기 : 문제만 풀었다. → 상관관계가 있을 법하거나 궁금한 것들에 대해 더 핸들링 하자! ex) 평균 평점이 가장 높은 영화 장.. 더보기

3/24 목 목요일! 기술통계를 이어서 배운다. 기술통계가 끝나면 추리통계(통계분석. 추측. 전수조사, 모집단)가 수순이지만 멀캠에서 배우지는 않는다! 1차원 데이터의 특징 파악 - 수치지표 → 대표값 : 평균, 중위값, 최대/최소값, 편차, 분산, 표준편차... - 시작적 표현 → 도수분포표, Histogram, Box plot 2차원 데이터의 특징 파악 - 수치지표 → 공분산, 상관계수 - 시작적 표현 → Scatter 2차원 데이터의 수치지표 → 공분산, 상관계수 1. 공분산(covariance) : 두 확률변수 사이의 상관 정도 import numpy as np import pandas as pd df = pd.read_csv('./data/student_scores_em.csv', index_col='stu.. 더보기

3/23 수 수요일! 오늘은 기술통계를 배운다. 1차원 데이터의 특징 파악 - 수치지표 → 대표값 : 평균, 중위값, 최대/최소값, 편차, 분산, 표준편차... - 시작적 표현 → 도수분포표, Histogram, Box plot * 최대/최소값은 대표값으로 사용하기에 무리가 있음 2차원 데이터의 특징 파악 - 수치지표 → 공분산, 상관계수 - 시작적 표현 → Scatter 산포도(dispersion) : 데이터가 얼마나, 어떻게 퍼져 있나가 관점 데이터가 흩어진 정도(변산성)를 수치로 표현하고 싶다면 → 범위(range), 사분위 범위(IQR, Interquatile range), 편차(deviation), 분산(variance), 표준편차(standard deviation) 1차원 데이터의 수치지표 → 평균, 중위.. 더보기

3회 차 | 3/22 화 벌써 3회 차~ 지난주에 진행한 타이타닉 예제가 가물가물하다.. 오늘은 조 편성, 조정된 커리큘럼 안내, 각 조별 코테 리뷰로 진행! 파일럿 진행 후 레벨에 따라 인원을 나눠 3개의 조로 운영하려 했으나, 각자의 실력 편차가 크고 스터디의 효율성이 떨어져 운영진과 상의 후 커리큘럼을 아래와 같이 조정했다. 11명의 인원이 모두 리뷰를 진행하기에는 시간이 빠듯해서 사다리 타기로 인원(4/4/3)을 나눴다. 각 조의 조장은 인후님, 창현님, 희경님! 주에 하나씩 진행하기로 했던 캐글 예제 대신 멀티캠퍼스 수업 내용과 맞추어, 수행평가용으로 제공된 MovieLens와 기온분석 데이터 세트로 아래와 같이 공부한다. 1. 수행평가 문제들 모두 하나씩 관련된 내용으로 시각화 하기 2. 10개 이상의 데이터 핸들링해.. 더보기

이전 1 2 3 4 5 다음

728x90

티스토리툴바