본문 바로가기

IT - 코딩31

자연어처리 긍부정 판단 with python & pytorch (bert) test_batch_size = 32 test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=test_batch_size, shuffle=False, collate_fn=collate_fn_style_test, num_workers=0)​ import torch torch.cuda.is_available() 먼저 GPU사용가능한지 check해주시고, (cpu로도 가능하지만 느림..) import os import pdb import argparse from dataclasses import dataclass, field from typing import Optional from collections import defaultdict impo.. 2022. 11. 19.
딥러닝을 응용한 환율예측으로 가상화폐 차익거래 기회 백테스팅 (2) 수익율 측정 #data["day_of_week"] = data["날짜"].dt.day_of_week data["달러환율"] = data["달러환율"].fillna(method="ffill") data = data.dropna() # 바이낸스 오늘 날짜 까지 안받아와졋을 경우에(업비트와 데이터 차이) data.isna().sum()​ # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') re.. 2022. 9. 8.
딥러닝을 응용한 환율예측으로 가상화폐 차익거래 기회 백테스팅 (1) 먼저 환율 예측에 과거 논문 기반으로 쓰인 데이터를 다운하여 한 폴더 내부에 넣는다. # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for files in os_file_list: p.. 2022. 9. 8.
DNN을 이용한 분류모델 (with python) import pandas as pd import math import tensorflow as tf import matplotlib.pyplot as plt import numpy as np ALL_DATA_BY_USE = pd.read_csv("StockReturn.csv",encoding="euc-kr") ALL_DATA_BY_USE 먼저 이러한 데이터가 있는 주가데이터를 범주가 여러개로 분류하려고 한다면, use_columns = list(set(ALL_DATA_BY_USE.columns)- set(["date"])) print(use_columns) target = "target" 이처럼 사용할 컬럼이 타켓(target)컬럼을 제외하고 나머지 컬럼은 학습데이터로 사용한다. 그다음 더미변환을 해주려.. 2022. 8. 21.
주피터 노트북 테마 바꾸기 추천 옵션 ~ jt -t onedork -f bitstream -T -N -fs 9 -nf opensans -nfs 9 -cursc r -cellw 80% 터미널로 들어갑니다. pip install jupyterthemes 패키지 설치해주시고 잘안보이지만 jt -t onedork -f bitstream -T -N -fs 9 -nf opensans -nfs 9 -cursc r -cellw 80% 이거 그대로 입력하면 끝납니다~ 2022. 8. 12.
한 폴더 내 파일들 전부 불러오기(with python)(for 머신러닝) # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd # import math #math 모듈을 먼저 import해야 한다. # 파일들이 저장된 경로 os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') # 저장된 폴더 경로 read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for files in os_file_list: print(files) df= pd.read_csv(read_path+files, encodin.. 2022. 8. 12.
yes trader 데이터 전처리(with python)+인베스트 , 데이터 가이드 포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 먼저 저장할 경로를 지정합니다. yes trader 에서 데이터를 다운 받으실 경우엔 데이터가 중복된 데이터도 있고 그렇습니다. yes trader 에서 시,고,저,종 순서대로 데이터를 받으시면 아래와 같이 사용하시면 쉽게 데이터를 가공해서 저장하실 수 있습니다. # yes traider 파일 krx_100 = pd.read_csv("krx 100.csv" , encoding = "cp949",names = ['날짜',"Open","High","Low","Close"]) BTC_KRW = pd.read_csv("da.. 2022. 7. 22.
데이터 가이드 데이터 전처리(with python)+인베스트 , yes trader포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 저장할 파일 위치를 설정해줍니다. 데이터 가이드 데이터들을 이런식으로 시고저종 순서로 둔 데이터들을 이런식으로 컬럼별로 다운해두면 #데이터 가이드 파일 ,시고저종이 있는 데이터는 good 하지만 없는 데이터는 새로운 컬럼명을 부여할 것! datagGuide = pd.read_excel("datagGuide.xlsx", sheet_name = None) def Pretreatment_by_datagGuide(df): #데이터 가이드에서 다운한 데이터 전처리 data_columns = list(df.keys()) dat.. 2022. 7. 22.
인베스트 데이터 전처리(with python)+예스 트레이더, 데이터 가이드포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 먼저 저장할 폴더를 지정해줍니다. 이런식으로 다운로드 받은 인베스트.com 파일을 다운해줍니다. 기간이 길면 두번에 나누어 다운해야 하는 경우가 있습니다. # 인베스트 컴 데이터 전처리 (인베스트에서 csv 파일 다운 후 아예 열지 않을 것을 권장!!) KRW_USDT = pd.read_csv("USD_KRW 내역.csv") KRW_EUR = pd.read_csv("EUR_KRW 내역.csv") KRW_CNY = pd.read_csv("CNY_KRW 내역.csv") DXY = pd.read_csv("달러 지수 내역... 2022. 7. 22.
시계열 분해 고장 예측 및 이상치 탐지 (네트워크 지능화를 위한 인공지능 해커톤) 시계열 데이터 이상징후 감지 데이터는 공개는 할 수 없지만 방식은 비슷할 겁니다. kt ip데이터를 받아와서 한 방식입니다. # def IQR_fun(df,col_1 = 'Server_sum', col_2 = 'Ss_Established'): def IQR_fun(df,col_1 = 'Server_sum'): # IQR 구하기 Q3 = df[col_1].quantile(0.75) Q1 = df[col_1].quantile(0.25) IQR = Q3 - Q1 IQR_Q3 = Q3 + IQR * 1.5 IQR_Q1 = Q1 - IQR * 1.5 df['target'] = 1 df['target'].loc[((IQR_Q1 df[col_1]))] = 0 # 이상치 데이터 IQR을 이용한 # Q3.. 2022. 5. 28.

티스토리툴바