본문 바로가기

전체 글40

자연어 처리 _ 구문 속 질의응답 모델(QA) with python & pytorch (코랩 pro 사용) #!head -n 3 /proc/meminfo # 코랩 확인용 리눅스 메모리 확인 import torch torch.cuda.is_available() # 코랩에서 내가 GPU 사용 중인지 확인 from google.colab import drive drive.mount('/content/drive') # 구글 드라이브의 파일을 추가 학습하기 위하여 구글드라이브 연동 !pip install ratsnlp # 대표적 모델인 이거 다운.. ########################################################### import torch # 토치 임포트. from ratsnlp.nlpbook.qa import QATrainArguments args = QATrainArgumen.. 2023. 1. 3.
바이낸스 가격데이터 websoket으로 받기 with node.js python const WebSocket = require('ws'); const pd = require("node-pandas"); var symbol_list = ['btcusdt',"xrpusdt"] var dic_list = [] for (var i = 0 ; i < symbol_list.length; i++) { dic_list[i] = {'symbol':symbol_list[i].toLocaleUpperCase(), 'TIME':NaN, 'bid_p':NaN, 'bid_q':NaN,'ask_p':NaN,'ask_q':NaN} } var url_bin = "wss://stream.binance.com:9443/ws" for (var i = 0 ; i < symbol_list.length; i++){ url_.. 2022. 11. 27.
자연어처리 긍부정 판단 with python & pytorch (bert) test_batch_size = 32 test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=test_batch_size, shuffle=False, collate_fn=collate_fn_style_test, num_workers=0)​ import torch torch.cuda.is_available() 먼저 GPU사용가능한지 check해주시고, (cpu로도 가능하지만 느림..) import os import pdb import argparse from dataclasses import dataclass, field from typing import Optional from collections import defaultdict impo.. 2022. 11. 19.
딥러닝을 응용한 환율예측으로 가상화폐 차익거래 기회 백테스팅 (2) 수익율 측정 #data["day_of_week"] = data["날짜"].dt.day_of_week data["달러환율"] = data["달러환율"].fillna(method="ffill") data = data.dropna() # 바이낸스 오늘 날짜 까지 안받아와졋을 경우에(업비트와 데이터 차이) data.isna().sum()​ # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') re.. 2022. 9. 8.
딥러닝을 응용한 환율예측으로 가상화폐 차익거래 기회 백테스팅 (1) 먼저 환율 예측에 과거 논문 기반으로 쓰인 데이터를 다운하여 한 폴더 내부에 넣는다. # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for files in os_file_list: p.. 2022. 9. 8.
DNN을 이용한 분류모델 (with python) import pandas as pd import math import tensorflow as tf import matplotlib.pyplot as plt import numpy as np ALL_DATA_BY_USE = pd.read_csv("StockReturn.csv",encoding="euc-kr") ALL_DATA_BY_USE 먼저 이러한 데이터가 있는 주가데이터를 범주가 여러개로 분류하려고 한다면, use_columns = list(set(ALL_DATA_BY_USE.columns)- set(["date"])) print(use_columns) target = "target" 이처럼 사용할 컬럼이 타켓(target)컬럼을 제외하고 나머지 컬럼은 학습데이터로 사용한다. 그다음 더미변환을 해주려.. 2022. 8. 21.
주피터 노트북 테마 바꾸기 추천 옵션 ~ jt -t onedork -f bitstream -T -N -fs 9 -nf opensans -nfs 9 -cursc r -cellw 80% 터미널로 들어갑니다. pip install jupyterthemes 패키지 설치해주시고 잘안보이지만 jt -t onedork -f bitstream -T -N -fs 9 -nf opensans -nfs 9 -cursc r -cellw 80% 이거 그대로 입력하면 끝납니다~ 2022. 8. 12.
한 폴더 내 파일들 전부 불러오기(with python)(for 머신러닝) # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd # import math #math 모듈을 먼저 import해야 한다. # 파일들이 저장된 경로 os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') # 저장된 폴더 경로 read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for files in os_file_list: print(files) df= pd.read_csv(read_path+files, encodin.. 2022. 8. 12.
yes trader 데이터 전처리(with python)+인베스트 , 데이터 가이드 포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 먼저 저장할 경로를 지정합니다. yes trader 에서 데이터를 다운 받으실 경우엔 데이터가 중복된 데이터도 있고 그렇습니다. yes trader 에서 시,고,저,종 순서대로 데이터를 받으시면 아래와 같이 사용하시면 쉽게 데이터를 가공해서 저장하실 수 있습니다. # yes traider 파일 krx_100 = pd.read_csv("krx 100.csv" , encoding = "cp949",names = ['날짜',"Open","High","Low","Close"]) BTC_KRW = pd.read_csv("da.. 2022. 7. 22.
데이터 가이드 데이터 전처리(with python)+인베스트 , yes trader포함 import pandas as pd import numpy as np save_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" 저장할 파일 위치를 설정해줍니다. 데이터 가이드 데이터들을 이런식으로 시고저종 순서로 둔 데이터들을 이런식으로 컬럼별로 다운해두면 #데이터 가이드 파일 ,시고저종이 있는 데이터는 good 하지만 없는 데이터는 새로운 컬럼명을 부여할 것! datagGuide = pd.read_excel("datagGuide.xlsx", sheet_name = None) def Pretreatment_by_datagGuide(df): #데이터 가이드에서 다운한 데이터 전처리 data_columns = list(df.keys()) dat.. 2022. 7. 22.

티스토리툴바