본문 바로가기

분류 전체보기45

DNN을 이용한 분류모델 (with python) import pandas as pd import math import tensorflow as tf import matplotlib.pyplot as plt import numpy as np ALL_DATA_BY_USE = pd.read_csv("StockReturn.csv",encoding="euc-kr") ALL_DATA_BY_USE 먼저 이러한 데이터가 있는 주가데이터를 범주가 여러개로 분류하려고 한다면, use_columns = list(set(ALL_DATA_BY_USE.columns)- set(["date"])) print(use_columns) target = "target" 이처럼 사용할 컬럼이 타켓(target)컬럼을 제외하고 나머지 컬럼은 학습데이터로 사용한다. 그다음 더미변환을 해주려.. 2022. 8. 21.
주피터 노트북 테마 바꾸기 추천 옵션 ~ jt -t onedork -f bitstream -T -N -fs 9 -nf opensans -nfs 9 -cursc r -cellw 80% 터미널로 들어갑니다. pip install jupyterthemes 패키지 설치해주시고 잘안보이지만 jt -t onedork -f bitstream -T -N -fs 9 -nf opensans -nfs 9 -cursc r -cellw 80% 이거 그대로 입력하면 끝납니다~ 2022. 8. 12.
한 폴더 내 파일들 전부 불러오기(with python)(for 머신러닝) # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd # import math #math 모듈을 먼저 import해야 한다. # 파일들이 저장된 경로 os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') # 저장된 폴더 경로 read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for files in os_file_list: print(files) df= pd.read_csv(read_path+files, encodin.. 2022. 8. 12.
yes trader 데이터 전처리(with python)+인베스트 , 데이터 가이드 포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 먼저 저장할 경로를 지정합니다. yes trader 에서 데이터를 다운 받으실 경우엔 데이터가 중복된 데이터도 있고 그렇습니다. yes trader 에서 시,고,저,종 순서대로 데이터를 받으시면 아래와 같이 사용하시면 쉽게 데이터를 가공해서 저장하실 수 있습니다. # yes traider 파일 krx_100 = pd.read_csv("krx 100.csv" , encoding = "cp949",names = ['날짜',"Open","High","Low","Close"]) BTC_KRW = pd.read_csv("da.. 2022. 7. 22.
데이터 가이드 데이터 전처리(with python)+인베스트 , yes trader포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 저장할 파일 위치를 설정해줍니다. 데이터 가이드 데이터들을 이런식으로 시고저종 순서로 둔 데이터들을 이런식으로 컬럼별로 다운해두면 #데이터 가이드 파일 ,시고저종이 있는 데이터는 good 하지만 없는 데이터는 새로운 컬럼명을 부여할 것! datagGuide = pd.read_excel("datagGuide.xlsx", sheet_name = None) def Pretreatment_by_datagGuide(df): #데이터 가이드에서 다운한 데이터 전처리 data_columns = list(df.keys()) dat.. 2022. 7. 22.
인베스트 데이터 전처리(with python)+예스 트레이더, 데이터 가이드포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 먼저 저장할 폴더를 지정해줍니다. 이런식으로 다운로드 받은 인베스트.com 파일을 다운해줍니다. 기간이 길면 두번에 나누어 다운해야 하는 경우가 있습니다. # 인베스트 컴 데이터 전처리 (인베스트에서 csv 파일 다운 후 아예 열지 않을 것을 권장!!) KRW_USDT = pd.read_csv("USD_KRW 내역.csv") KRW_EUR = pd.read_csv("EUR_KRW 내역.csv") KRW_CNY = pd.read_csv("CNY_KRW 내역.csv") DXY = pd.read_csv("달러 지수 내역... 2022. 7. 22.
빅분기 실기 공부 정리. 2022. 6. 22.
빅분기 실기 단답형 정리 엑셀 , 주피터 노트북 예제 및 데이터(1원장자) 2022. 6. 8.
시계열 분해 고장 예측 및 이상치 탐지 (네트워크 지능화를 위한 인공지능 해커톤) 시계열 데이터 이상징후 감지 데이터는 공개는 할 수 없지만 방식은 비슷할 겁니다. kt ip데이터를 받아와서 한 방식입니다. # def IQR_fun(df,col_1 = 'Server_sum', col_2 = 'Ss_Established'): def IQR_fun(df,col_1 = 'Server_sum'): # IQR 구하기 Q3 = df[col_1].quantile(0.75) Q1 = df[col_1].quantile(0.25) IQR = Q3 - Q1 IQR_Q3 = Q3 + IQR * 1.5 IQR_Q1 = Q1 - IQR * 1.5 df['target'] = 1 df['target'].loc[((IQR_Q1 df[col_1]))] = 0 # 이상치 데이터 IQR을 이용한 # Q3.. 2022. 5. 28.
이미지를 이용한 주가예측 (분류) (CNN) 1원장자 import yfinance import numpy as np import pandas as pd import pandas_datareader.data as web import datetime import matplotlib.pyplot as plt import mpl_finance import math import seaborn as sns # import set_matplotlib_hangul %matplotlib inline import tensorflow as tf import os import PIL import shutil df = yfinance.download('AAPL','2000-1-1','2020-1-1') # df = df.drop(['Volume'],1).drop(['Adj Clo.. 2022. 5. 16.

티스토리툴바