5회 차 | 3/29 화

5회 차!

 

지난주 금요일에 각자 선정한 머신러닝 프로젝트 주제의

진행상황(EDA, 데이터 핸들링, 시각화, 기술통계, 모델링)을 리뷰했다.

 

금요일은 전체 모임에서 10분씩 최종 리뷰!

 

기존에 골랐던 주식 종료 가격 예측은 대회가 마감되어 이곳저곳 코드 리뷰한 곳들을 뒤져도,

모델링에 필요한 데이터셋(stock_list.csv : 종목 번호 데이터, sample_submission.csv)을 구할 수가 없기에

부득이하게도 기존에 캐글 예제로 골랐던 보스턴 집값 예측으로 변경했다.

 

내가 일하고 싶은 분야도 자산운용의 로보어드바이저 부문이기 때문에,

나중에 꼭 주식 가격 예측을 구현해 볼 예정이다!

 

https://dacon.io/competitions/official/235857/overview/description

주식 종료 가격 예측 경진대회 - DACON

 

결치값이 없고 상관관계가 뚜렷한 독립변수들이 있어, 머신러닝을 연습하기 좋은 샘플이다.

 

다른 조원들은 기후 및 미세먼지 데이터를 이용한 미세먼지 예측과 영화 관객 수 예측을 골랐다.

필요한 데이터셋이 여러 곳에 파편화되어 있고 결치값이 많으며 각 변수들의 형식이 달라

통합 · 통일하고 상관관계를 구하는데 어려움이 있어 보였다.

 

현업에 가면 저런 일이 다반사겠지.. 데이터를 핸들링하는 연습을 많이 해보아야겠다!

 

무비렌즈 태그 데이터
Credit Card Fraud Detection
Wine Quality Dataset
서울시 따릉이 자전거 이용 예측
해외 축구선수 이적료 예측
구내식당 식수인원 예측
전복 성별 예측
기후 및 미세먼지 데이터를 이용한 미세먼지 예측
영화 관객 수 예측
보스턴 집값 예측
아파트 실거래가 예측

---

1조의 창현님이 MLOps(머신러닝을 하기 좋은 환경을 만들고 유지하는 DevOps 같은 역할)가

머신러닝 배포 시에 쓰는 시스템을 우리도 공부해야 한다! 피력하였지만..

 

나는 일단 머신러닝이 급하기 때문에! 킵킵!

 

· Docker : 리눅스 컨테이너 기술을 자동화해 쉽게 사용할 수 있게 하는 오픈소스 프로젝트

· AWS : 클라우드 컴퓨팅 서비스

· Jenkins : 거의 모든 언어의 조합과 소스코드 리포지토리(Repository)에 대한 지속적인 통합과 지속적인 전달 환경을 구축하기 위한 간단한 방법을 제공

· Kubernetes: 클라우드화 된 애플리케이션을 빠르게 자동적으로 배포하고, 컨테이너들의 오케스트레이션(orchestration), 스케일링 등을 제공하는 컨테이너 관리 시스템

 

https://zzsza.github.io/mlops/2018/12/28/mlops/

머신러닝 오퍼레이션 자동화, MLOps