반응형 Crawling11 공모전 참여 케이스 스터디 -1 (크롤링 / 워드클라우드) 이번에 좋은 기회로 훌륭한 팀원들과 함께 "2023 서울시 빅데이터캠퍼스 공모전"에 참여하고자 한다. 경험이 많이 부족하기 때문에 기수상작에 대한 분석을 먼저 진행하는 것으로 계획을 세웠다. 다행히도 공모전 수상작들에 대한 사례들이 누리집 자료실에 존재하여 해당 페이지에서 제목들과 수상내역들을 크롤링하고, 최종적으로는 워드 클라우드로 만들어 주목할만한 키워드가 있는지 찾아보려고 한다. 1. 수상내역 페이지 크롤링 - 서울 빅데이터 캠퍼스 누리집의 https://bigdata.seoul.go.kr/noti/selectPageListTabNoti.do?r_id=P260&bbs_seq=&ac_type=A1 해당 링크에서 관련 내용을 찾아볼 수 있다. - 크롤링 코드는 다음의 코드를 사용하면 된다. # 빈 데이.. 2023. 10. 4. API 인증키를 활용한 웹 크롤링 실습 -3 (서울 열린데이터 광장) API 인증키를 활용한 크롤링 실습 그 세번째 공공데이터 포털 데이터 활용편이다. 사용하려고 하는 데이터에 대한 정보와 인증키 발급은 이미 전 게시글에서 마친 상태이므로, 바로 실습을 진행하겠다. 2023.08.03 - [IT & 개발공부/파이썬(Python)] - 서울시 부동산 실거래가 정보 API 크롤링 인증키 발급 서울시 부동산 실거래가 정보 API 크롤링 인증키 발급 1. 회원가입 - 우상단의 회원가입 클릭 - 보통은 일반회원일테니, 일반회원을 클릭(기업 또는 외국인 회원은 해당 절차에 따라주기 바람) - 잘 읽어보시고 동의/비동의 후 제일 마지막에 다음 단 bmil2011s.tistory.com 3. 공공데이터 포털 활용 - 이번에도 먼저 데이터 명세서를 다운로드 받아서, API 데이터 기본 정.. 2023. 8. 12. API 인증키를 활용한 웹 크롤링 실습 -2 (공공데이터 포털 feat.xmltodict) API 인증키를 활용한 크롤링 실습 그 두번째 공공데이터 포털 데이터 활용편이다. 사용하려고 하는 데이터에 대한 정보와 인증키 발급은 이미 전 게시글에서 마친 상태이므로, 바로 실습을 진행하겠다. 2023.08.03 - [IT & 개발공부/파이썬(Python)] - 공공데이터 포털 인증키 발급 방법(부동산 실거래가 정보) 공공데이터 포털 인증키 발급 방법(부동산 실거래가 정보) 1. 회원가입 - 공공데이터 포털(https://www.data.go.kr/)메인 화면에서 회원가입 클릭(회원가입이 되어있다면 "2번"으로 이동) - 정보를 입력하고, 가입확인 클릭 - 전체 약관 동의 후 다음 단계 클릭 - bmil2011s.tistory.com 2. 공공데이터 포털 활용 - 먼저 해당 데이터를 크롤링 하기 전,.. 2023. 8. 12. API 인증키를 활용한 웹 크롤링 실습 -1 (한국도로공사 데이터) API 인증키를 활용하여 공공기관에서 제공하는 여러 데이터들을 크롤링하는 방법을 공부해보도록 하겠다. 지난 게시글에서 열심히 발급받았던 인증키들도 이번에 활용해볼 것이다. 1. 한국도로공사 데이터 - 먼저 첫번째로 한국도로공사 고속도로 공공데이터 포털의 "실시간 영업소간 통행시간" 데이터를 활용해보겠다. 해당 데이터 타이틀을 클릭 - 다음과 같이 나오는 화면에서 요청변수, 출력결과들을 확인해주고 필히 요청변수 중 필수인 것을 확인해놓자. 확인한 뒤에 화면 하단에서 예제 실행하기를 찾아 클릭. - 인증키를 발급받았다면, key안에 넣어주어도 되겠다. - URL 보기와 예제 실행하기를 차례로 눌러가며 결과가 잘 나오는지(인증키 유효 등) 확인한다. - 실제 데이터를 집어넣으면 그 데이터도 볼 수 있다. 일례.. 2023. 8. 11. scrapy를 이용한 웹 크롤링 실습 - 파이썬의 다양한 크롤링 라이브러리를 배워보고 있다. 이번시간에는 beautifulsoup, selenium 다음으로 scrapy를 한 번 사용해보고자 한다. 0. 준비하기 - pip install scrapy로 라이브러리를 먼저 설치해주고, 프로젝트를 생성해보자(밑줄 친 부분은 임의 변경 가능) scrapy start project scrapy_practice 명령어 실행 - 다음과 같이 여러 파일들이 추가된 구조를 확인할 수 있다. 1. 본격 크롤링 - 목표로 하는 크롤링 url 주소는 이것이다. : https://www.worldometers.info/world-population/population-by-country/ - 다음과 같이 명령어를 실행하자(위치 : spiders 폴더로 이동 후 명.. 2023. 8. 10. 이전 1 2 3 다음 반응형
