목록AISCHOOL (25)

Molybdenum의 개발기록

[TIL] 17일차_Seoul_Call_Center_120_View of major complaints_Scrapping

서울특별시 다산콜센터(☎120)의 주요 민원(자주 묻는 질문)에 대한 답변정보 ▶ 라이브러리 로드 pandas : 파이썬에서 사용할 수 있는 엑셀과 유사한 데이터분석 도구 requests : 매우 작은 브라우저로 웹사이트의 내용과 정보를 불러옴 BeautifulSoup : request로 가져온 웹사이트의 html 태그를 찾기 위해 사용 time : 한 번에 많은 양의 데이터를 가져오게 되면 서버에서 부담을주기 때문에 시간 간격을 두고 가져오기 위해 사용 import pandas as pd import numpy as np import requests from bs4 import BeautifulSoup as bs 1) 데이터 불러오기 df = pd.read_csv("data/seoul-120/seoul..
TIL 2023. 3. 7. 14:52
[TIL] 17일차_Seoul_Call_Center_120_List of major complaints_Scrapping

▶ 서울특별시 다산콜센터 - 120의 주요민원 목록 웹스크래핑 120- 주요질문의 특정페이지 목록을 수집 ▶ 라이브러리 로드 time : 간격을 두고 가져오기 위해 사용 pandas : 파이썬에서 사용할 수 있는 엑셀과 유사한 데이터분석 도구 numpy : 파이썬에서 사용할 수 있는 공학용 계산기 requests : 매우 작은 브라우저로 웹사이트의 내용과 정보를 불러옴 BeautifulSoup : requests로 가져온 웹사이트의 html 태그를 찾기위해 사용 import pandas as pd import numpy as np import requests from bs4 import BeautifulSoup as bs 1) page_no마다 url이 변경되게 f-string을 사용해 만든다. - 나는..
TIL 2023. 3. 7. 14:36
[TIL] 12일차_NAVER_Finance_Daily_Price_Scraping

▶ 네이버 금융 개별종목 수집 ​ 수집하고자 하는 페이지 URL 네이버 금융 국내증시 : https://finance.naver.com/sise/ 주요 종목 삼성전자 : https://finance.naver.com/item/main.naver?code=005930 현대차 : https://finance.naver.com/item/main.naver?code=005380 SK하이닉스 : https://finance.naver.com/item/main.naver?code=000660 ​ ▶ 라이브러리 로드 import pandas as pd import request from bs4 import BeautifulSoup as bs ▶ 수집할 URL 정하기 item_code = "005930" item_na..
TIL 2023. 3. 6. 11:43
[TIL] 12일차_FinanceDataReader

▶ FinanceDataReader(=fdr) : 한국 주식 가격, 미국주식가격, 지수, 환율, 암호화폐 가격, 종목 리스팅 등의 금융데이터 수집 파이썬 라이브러리로 네이버 금융, 한국거래소, 야후 파이낸스, Investing.com 등 다양한 웹사이트에서 주식, 지수, 환율, 선물 등 금융 데이터를 수집하여 제공한다. FinanceDataReader는 Pandas DataFrame 형태로 데이터를 반환하므로, Pandas를 사용하여 데이터 분석 및 시각화를 쉽게 할 수 있습니다. import FinanceDataReader as fdr fdr.__version__ -> 라이브러리의 version을 확인하고 싶을 때는 .__version__으로 확인 FinanceDataReader에서 제공하는 함수 몇 ..
TIL 2023. 3. 6. 11:33
[TIL] 12일차_Crawling

▶ Crawling Crawling은 웹 페이지를 주기적으로 방문하며, 해당 페이지에서 원하는 정보를 수집하는 과정을 의미한다. 크롤링을 통해 수집된 데이터는 보통 분석, 가공, 저장 등 다양한 용도로 활용된다. 웹 페이지를 크롤링하는 프로그램을 크롤러(Crawler) 또는 스파이더(Spider)라고 하며, 이를 사용하여 웹 페이지의 HTML 코드를 가져와 데이터를 추출한다. 크롤러는 URL을 통해 웹 페이지에 접근하고, HTML 코드를 파싱하여 원하는 정보를 추출한다. 추출된 정보는 파일로 저장하거나 데이터베이스에 저장하여 분석 및 활용할 수 있다. 크롤링은 다양한 분야에서 활용되며, 주로 인터넷에서의 데이터 수집이 필요한 경우 사용된다. 예를 들어, 경제, 금융, 마케팅, 정치 등 다양한 분야에서 새..
TIL 2023. 3. 6. 11:08
[TIL] 11일차_Pandas

▶ Pandas 라이브러리 판다스(Pandas)는 파이썬 언어로 작성된 데이터 분석을 위한 라이브러리이다. 판다스는 대량의 데이터를 쉽게 처리하고 분석할 수 있는 기능을 제공하며, 데이터 프레임(DataFrame)과 시리즈(Series) 두 가지 자료형을 제공한다. 데이터 프레임은 엑셀 스프레드시트와 비슷한 형태로 구성되어 있으며, 여러 개의 행과 열로 이루어져 있다. 시리즈는 1차원 배열 형태의 자료구조로, 각 원소는 인덱스를 가지고 있다. 판다스는 데이터의 누락값 처리, 데이터 필터링, 정렬, 그룹화, 병합, 피벗테이블 등 다양한 기능을 제공하며, 다른 라이브러리와 함께 사용될 때 매우 강력한 데이터 분석 도구가 된다. 이러한 판다스를 사용하기 위해서는 설치된 판다스 라이브러리를 실행환경으로 불러오는..
TIL 2023. 3. 6. 10:48
이전 Prev 1 2 3 4 5 Next 다음