pandas
-
[pandas] DataFrame | 데이터프레임 병합하기(concat, merge)__Python 2021. 6. 2. 11:21
금융데이터나 캐글 등 파일 데이터가 여러개라 데이터프레임을 나중에 병합해주어야 할 때가 있다. 방법1. merge from functools import reduce import pandas as pd dfs = [df1, df2, df3] data = reduce(lambda left, right: pd.merge(left, right, on='DATE'), dfs) 방법2. concat import pandas as pd df = pd.concat([df1, df2], axis=1, join='outer')
-
[에러해결] datetime 출력 형식 변경 : .date() / busday_count() TypeError__Python 2021. 5. 29. 17:56
! numpy의 busdaycount()를 사용하려하니, 다음의 에러가 발생했다. today를 출력했더니 결과물은 '연도-월-일 시간:분:초' 형태로 나온다. 오히려 시간데이터가 아닌 문자열 상태로도 busday_count 메소드가 먹힌다. 날짜 형식으로 넣기만 하면 되는것 같다. (datetime64[D] [해결] - numpy의 busdaycount를 사용하려면 (연도-월-일)의 형태로 넣어줘야한다. - str 형태도 상관 없다. - 단 시계열 데이터를 다룰 때 timestamp형으로 변환 후 작업을 하므로, date 타입으로 변형 후 사용하기로 한다. - 시간데이터.date( )
-
[에러해결] pandas | pd.read_excel 오류 해결 (ValueError)__Python 2021. 5. 29. 04:26
엑셀 데이터를 읽어오는데 다음과 같은 에러가 발생했다. ValueError: Your version of xlrd is 2.0.1. In xlrd >= 2.0, only the xls format is supported. Install openpyxl instead. [해결] !pip install openpyxl excel 불러오기 깔끔하게 성공 단 excel은 csv 파일과 달리, sheet를 지정해줘야 한다. (╯°□°）╯
-
[실습] html 웹크롤링 | selenium / BeautifulSoup / requests | 3__Data Analysis 2021. 3. 19. 21:24
# 20210318 #13 ~ # 20210319 # 20.20 @ 웹크롤링 실습 3번째. - , youtube(유튜브)에 검색어 입력 받은 후 검색 결과 확인하기 - , 검색 결과에서 재생목록(플레이리스트)만 출력하기 확인한 결과는 -> 데이터프레임으로 만들기 # 웹크롤링 # 툴 : selenium, BeautifulSoup, requests, pandas 사용 @ 내가 실수한 것 1) time.sleep() : 처리 지연 내 컴퓨터 처리 속도 문제인지 데이터를 가져오는 갯수가 매번 달라지기 시작했다. 심지어 url 다 연결하고 html 데이터 가져오기 했는데 출력되는 결과물 : [] time(0.5)을 걸었지만 택도 없었다. 여전히 코드 실행속도가 웹페이지 여는 속도보다 빨랐다. 지연 시간 크기를 대..
-
[Python] pandas | 데이터프레임 모든 행과 열 출력하기__Python 2021. 3. 17. 22:34
Pandas DataFrame pd.set_option('display.max_columns',None) pd.set_option('display.max_row',None) df = pd.DataFrame(data) 생성한 데이터프레임의 크기가 너무 크면, 행 또는 열이 중간에 생략된 상태로 출력됩니다. 작업에 따라 중간의 생략된 데이터를 확인해야할 때가 있습니다. 그럴 땐 하단의 옵션을 코드 상단에 지정해줍니다. None 자리에 숫자를 지정해서 더 많은 행과 열을 출력할 수 있고, None을 사용해 모든 행(열)을 보이게 할 수 있습니다. pd.set_option('display.max_columns',None) pd.set_option('display.max_row',None)
