반응형 Python27 파이썬 머신러닝 배경 지식 & 탐색적 자료 분석 - 이번 글에서는 머신러닝에 대한 기본적인 이해와 필수로 따라오는 탐색적 데이터 분석에 대해 학습하고자 한다. 0. 준비하기 - 이번 코드 실습 데이터는 kaggle의 bike sharing 데이터를 이용할 것이고, 미리 다운받은 경로에서 필요한 데이터를 판다스를 이용해 가져오도록 하자. - 처음 코드는 구글 드라이브를 구글 colab 환경에 연결하기 위하여 필요한 코드를 입력한 것이다. 드라이브를 마운트하면 구글 드라이브 파일 및 디렉토리에 쉽게 액세스할 수 있다. 1. 데이터 확인 - 독립변수 - datetime : 1시간 간격 데이터 수집 - season : 봄/여/가/겨 1,2,3,4 - holiday : 0 공휴일 아님, 1 공휴일 - workingday : 0 평일이 아님, 1: 평일 - we.. 2023. 8. 16. API 인증키를 활용한 웹 크롤링 실습 -3 (서울 열린데이터 광장) API 인증키를 활용한 크롤링 실습 그 세번째 공공데이터 포털 데이터 활용편이다. 사용하려고 하는 데이터에 대한 정보와 인증키 발급은 이미 전 게시글에서 마친 상태이므로, 바로 실습을 진행하겠다. 2023.08.03 - [IT & 개발공부/파이썬(Python)] - 서울시 부동산 실거래가 정보 API 크롤링 인증키 발급 서울시 부동산 실거래가 정보 API 크롤링 인증키 발급 1. 회원가입 - 우상단의 회원가입 클릭 - 보통은 일반회원일테니, 일반회원을 클릭(기업 또는 외국인 회원은 해당 절차에 따라주기 바람) - 잘 읽어보시고 동의/비동의 후 제일 마지막에 다음 단 bmil2011s.tistory.com 3. 공공데이터 포털 활용 - 이번에도 먼저 데이터 명세서를 다운로드 받아서, API 데이터 기본 정.. 2023. 8. 12. API 인증키를 활용한 웹 크롤링 실습 -2 (공공데이터 포털 feat.xmltodict) API 인증키를 활용한 크롤링 실습 그 두번째 공공데이터 포털 데이터 활용편이다. 사용하려고 하는 데이터에 대한 정보와 인증키 발급은 이미 전 게시글에서 마친 상태이므로, 바로 실습을 진행하겠다. 2023.08.03 - [IT & 개발공부/파이썬(Python)] - 공공데이터 포털 인증키 발급 방법(부동산 실거래가 정보) 공공데이터 포털 인증키 발급 방법(부동산 실거래가 정보) 1. 회원가입 - 공공데이터 포털(https://www.data.go.kr/)메인 화면에서 회원가입 클릭(회원가입이 되어있다면 "2번"으로 이동) - 정보를 입력하고, 가입확인 클릭 - 전체 약관 동의 후 다음 단계 클릭 - bmil2011s.tistory.com 2. 공공데이터 포털 활용 - 먼저 해당 데이터를 크롤링 하기 전,.. 2023. 8. 12. API 인증키를 활용한 웹 크롤링 실습 -1 (한국도로공사 데이터) API 인증키를 활용하여 공공기관에서 제공하는 여러 데이터들을 크롤링하는 방법을 공부해보도록 하겠다. 지난 게시글에서 열심히 발급받았던 인증키들도 이번에 활용해볼 것이다. 1. 한국도로공사 데이터 - 먼저 첫번째로 한국도로공사 고속도로 공공데이터 포털의 "실시간 영업소간 통행시간" 데이터를 활용해보겠다. 해당 데이터 타이틀을 클릭 - 다음과 같이 나오는 화면에서 요청변수, 출력결과들을 확인해주고 필히 요청변수 중 필수인 것을 확인해놓자. 확인한 뒤에 화면 하단에서 예제 실행하기를 찾아 클릭. - 인증키를 발급받았다면, key안에 넣어주어도 되겠다. - URL 보기와 예제 실행하기를 차례로 눌러가며 결과가 잘 나오는지(인증키 유효 등) 확인한다. - 실제 데이터를 집어넣으면 그 데이터도 볼 수 있다. 일례.. 2023. 8. 11. scrapy를 이용한 웹 크롤링 실습 - 파이썬의 다양한 크롤링 라이브러리를 배워보고 있다. 이번시간에는 beautifulsoup, selenium 다음으로 scrapy를 한 번 사용해보고자 한다. 0. 준비하기 - pip install scrapy로 라이브러리를 먼저 설치해주고, 프로젝트를 생성해보자(밑줄 친 부분은 임의 변경 가능) scrapy start project scrapy_practice 명령어 실행 - 다음과 같이 여러 파일들이 추가된 구조를 확인할 수 있다. 1. 본격 크롤링 - 목표로 하는 크롤링 url 주소는 이것이다. : https://www.worldometers.info/world-population/population-by-country/ - 다음과 같이 명령어를 실행하자(위치 : spiders 폴더로 이동 후 명.. 2023. 8. 10. 이전 1 2 3 4 5 6 다음 반응형
