IT - 코딩/AI, 예측모델13 시계열 예측 모델 _ LSTM 환율 예측 차익거래 논문을 쓰기 위해 환율을 3가지로 나누어 비교했었다. 실질적 환율인 비공식환율, 그리고 그냥 일반 우리가 아는 국가가정해주는 공식환율, 그리고 마지막 LSTM으로 예측하는 환율. 본 글에서는 LSTM으로 환율을 예측하는 코드를 짜보려고 한다. # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for f.. 2023. 10. 24. 머신러닝 예측모델 선정하기 (인공지능 코테 예제)Adult Census Income Tutorial Adult Census Income Tutorial¶ age: 나이 workclass: 고용 형태 fnlwgt: 사람의 대표성을 나타내는 가중치(final weight) education: 교육 수준 education.num: 교육 수준 수치 marital.status: 결혼 상태 occupation: 업종 relationship: 가족 관계 race: 인종 sex: 성별 capital.gain: 양도 소득 capital.loss: 양도 손실 hours.per.week: 주당 근무 시간 native.country: 국적 income: 수익 (예측해야 하는 값) 채점기준은 정밀도로 판단하며 답안 제출은 확률로 하시오. path = r"C:\Users\Happy\Desktop\AI_project\자격증_빅분.. 2023. 10. 23. [데이콘]데이크루 6 _ 신용카드 연체 예측 신용카드 사용은 현대 사회의 필수적인 결제 수단이다. 그러나 연체와 같은 신용 위험이 증가하고 있다. 연체를 미리 예측하는 것은 중요하며, 그 문제를 머신러닝을 활용해 해결하는 방법을 초보자를 위해 설명합니다. 신용 카드 연체 예측 모델을 구축하고 평가하는 방법을 학습하는 것이 목표입니다. 학습 과정은 데이터 전처리, 모델 선택 및 학습, 모델 성능 평가, 모델 최적화로 구성됩니다. 모델 성능 향상을 위해 사용한 방법은 1. 파생변수 생성 2. 데이터 스케일링 3. 하이퍼파라미터 튜닝 4. 다중공선성 처리 5. 추가 데이터 확보 6. 앙상블 이렇게 6가지 방법들이 되겠고, import numpy as np # 전처리 라이브러리 임포트 # 파생변수 생성 및 주석 # 1. 파생변수 생성을 위해 음수값 양수로.. 2023. 9. 17. 전력 사용량 예측 전체 코드 # pip install koreanize_matplotlib # @ 한글 깨짐 방지 import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt import koreanize_matplotlib # import seaborn as sns # 데이터 프레임 모든 컬럼 그리기 # 함수명으로도 정의하기 def columns_plot(data): # y좌표 # col_list_plt = list(data.select_dtypes(exclude = "object").columns) col_list_plt = list(data.select_dtypes(include = ["float","int"]).columns) x_plt_n = 3 #.. 2023. 8. 7. chat GPT를 활용한 한국어 댓글 긍부정 판단 vs 공개 사전학습 모델 긍부정 판단 비교 (with python) import openai import time messages = [] out_put = [] err_list = [] openai.api_key = "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" # api 키는 https://platform.openai.com/overview 여기에서 발급받기 바랍니다 ###############보미 사전학습 모델 (시작) ################## import torch from torch.utils.data import Dataset, DataLoader from transformers import BertTokenizerFast, BertForSequenceClassification, AdamW from .. 2023. 6. 23. 자연어 처리 _ 키워드 추출 key bert ) with python & pytorch # !pip install sentence_transformers import numpy as np import itertools from sklearn.feature_extraction.text import CountVectorizer from sklearn.metrics.pairwise import cosine_similarity from sentence_transformers import SentenceTransformer def max_sum_sim(doc_embedding, candidate_embeddings, words, top_n, nr_candidates): # 단순 데이터 쌍 최대의 합거리. 문서와의 유사성을 극대화 # 문서와 각 키워드들 간의 유사도 distances = cosine_.. 2023. 1. 3. 자연어 처리 _ 구문 속 질의응답 모델(QA) with python & pytorch (코랩 pro 사용) #!head -n 3 /proc/meminfo # 코랩 확인용 리눅스 메모리 확인 import torch torch.cuda.is_available() # 코랩에서 내가 GPU 사용 중인지 확인 from google.colab import drive drive.mount('/content/drive') # 구글 드라이브의 파일을 추가 학습하기 위하여 구글드라이브 연동 !pip install ratsnlp # 대표적 모델인 이거 다운.. ########################################################### import torch # 토치 임포트. from ratsnlp.nlpbook.qa import QATrainArguments args = QATrainArgumen.. 2023. 1. 3. 자연어처리 긍부정 판단 with python & pytorch (bert) test_batch_size = 32 test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=test_batch_size, shuffle=False, collate_fn=collate_fn_style_test, num_workers=0) import torch torch.cuda.is_available() 먼저 GPU사용가능한지 check해주시고, (cpu로도 가능하지만 느림..) import os import pdb import argparse from dataclasses import dataclass, field from typing import Optional from collections import defaultdict impo.. 2022. 11. 19. 딥러닝을 응용한 환율예측으로 가상화폐 차익거래 기회 백테스팅 (2) 수익율 측정 #data["day_of_week"] = data["날짜"].dt.day_of_week data["달러환율"] = data["달러환율"].fillna(method="ffill") data = data.dropna() # 바이낸스 오늘 날짜 까지 안받아와졋을 경우에(업비트와 데이터 차이) data.isna().sum() # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') re.. 2022. 9. 8. 딥러닝을 응용한 환율예측으로 가상화폐 차익거래 기회 백테스팅 (1) 먼저 환율 예측에 과거 논문 기반으로 쓰인 데이터를 다운하여 한 폴더 내부에 넣는다. # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for files in os_file_list: p.. 2022. 9. 8. 이전 1 2 다음
