'웹크롤링' 태그의 글 목록

본문 바로가기

728x90

웹크롤링

5/31 수_미국 기준금리 vs. 코스피 1. 미국 기준금리와 코스피의 상관관계 새싹에서 진행했던 개인 프로젝트에서 코스피와 다른 지수들 간의 상관관계를 시각화로 알아보는 작업을 했었다. 마지막 프로젝트에서 주가 예측으로 자동 매매 시 가중치를 주기 위해, 미국 기준금리와 원자재 선물 등의 지표를 넣자는 의견이 나왔었으나 사이즈가 너무 커져서 배제했던 부분! 이번에 체인지업에서 경신스하는 중 "이번 주 코스피…'美 부채한도 협상' 타결여부에 달렸다"라는 기사에서 "5월 FOMC 의사록에서 추가 금리 인상 관련 내용을 확인할 필요가 있다" 내용을 본 김에 웹크롤링 복기할 겸 데이터를 가져와봤다. 미국 기준금리는 야후 파이낸스에서 가져올 수가 없고, CSV로 파일을 받을 수 있는 것은 2008년 자료부터 있어서 데이터가 작았다. 미국 연방공개시장위.. 더보기

8/31 수 1. ConnectionError 네이버 뉴스 크롤링 시 headers로 사용하는 브라우저를 넣어주지 않으면 로봇이라 생각해 접속이 거부된다! 개발자 도구_Network_list.naver_user-agent 안에 브라우저 정보를 넣어주자~ Chrome: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36 Firefox: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:103.0) Gecko/20100101 Firefox/103.0 2. 비동기 방식 데이터 크롤링 비동기 방식 사이트는 렌더링 시 데이터를 가져오는 게 아님 (Why? 프런트/백엔드 .. 더보기

이전 1 다음

728x90

티스토리툴바