본문 바로가기

IT - 코딩33

블로그 자동화 with python, chat gpt api, selenium 나는 지금 네이버 경제뉴스를 자동화 하여 올리고 있습니다 => https://blog.naver.com/wzxcv123인베스트에서 가장 인기있는 뉴스 top5를 가지고 요약해서 올립니다. 정말 간단하게 open ai api 와, 네이버 블로그만 있으면 됩니다.# open ai, 뉴스 크롤링 관련import requestsfrom bs4 import BeautifulSoupimport openaiimport time# 포스팅 관련from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.chrome... 2025. 1. 9.
꼬맨틀 따라하기(무한맨틀, 사용자 단어 지정가능) with python 꼬맨틀을 좋아하시는 여러분을 보다가 무한맨틀을 만들어보았어요. 단어는 1~100개만 우선 넣었고 uvcorn(streamlit)으로 실행하면 된답니다. import streamlit as stimport numpy as npfrom scipy.spatial.distance import cosinefrom sentence_transformers import SentenceTransformer# -------------------------------------------------------# 1) 페이지 기본 설정# -------------------------------------------------------st.set_page_config(page_title="무한맨틀", layout="cente.. 2024. 12. 30.
시계열 예측 모델 _ LSTM 환율 예측 차익거래 논문을 쓰기 위해 환율을 3가지로 나누어 비교했었다. 실질적 환율인 비공식환율, 그리고 그냥 일반 우리가 아는 국가가정해주는 공식환율, 그리고 마지막 LSTM으로 예측하는 환율. 본 글에서는 LSTM으로 환율을 예측하는 코드를 짜보려고 한다. # 사용할 모든 파일 리스트로 읽어오기 import os import numpy as np import pandas as pd os_file_list = os.listdir('C:/Users/Happy/Desktop/논문용/krwusdtdata/전처리된파일') read_path = "C:\\Users\\Happy\\Desktop\\논문용\\krwusdtdata\\전처리된파일\\" # 딕셔너리 안에 모든 데이터 프레임 저장 All_data = {} for f.. 2023. 10. 24.
머신러닝 예측모델 선정하기 (인공지능 코테 예제)Adult Census Income Tutorial Adult Census Income Tutorial¶ age: 나이 workclass: 고용 형태 fnlwgt: 사람의 대표성을 나타내는 가중치(final weight) education: 교육 수준 education.num: 교육 수준 수치 marital.status: 결혼 상태 occupation: 업종 relationship: 가족 관계 race: 인종 sex: 성별 capital.gain: 양도 소득 capital.loss: 양도 손실 hours.per.week: 주당 근무 시간 native.country: 국적 income: 수익 (예측해야 하는 값) 채점기준은 정밀도로 판단하며 답안 제출은 확률로 하시오. path = r"C:\Users\Happy\Desktop\AI_project\자격증_빅분.. 2023. 10. 23.
[데이콘]데이크루 6 _ 신용카드 연체 예측 신용카드 사용은 현대 사회의 필수적인 결제 수단이다. 그러나 연체와 같은 신용 위험이 증가하고 있다. 연체를 미리 예측하는 것은 중요하며, 그 문제를 머신러닝을 활용해 해결하는 방법을 초보자를 위해 설명합니다. 신용 카드 연체 예측 모델을 구축하고 평가하는 방법을 학습하는 것이 목표입니다. 학습 과정은 데이터 전처리, 모델 선택 및 학습, 모델 성능 평가, 모델 최적화로 구성됩니다. 모델 성능 향상을 위해 사용한 방법은 1. 파생변수 생성 2. 데이터 스케일링 3. 하이퍼파라미터 튜닝 4. 다중공선성 처리 5. 추가 데이터 확보 6. 앙상블 이렇게 6가지 방법들이 되겠고, import numpy as np # 전처리 라이브러리 임포트 # 파생변수 생성 및 주석 # 1. 파생변수 생성을 위해 음수값 양수로.. 2023. 9. 17.
전력 사용량 예측 전체 코드 # pip install koreanize_matplotlib # @ 한글 깨짐 방지 import math #math 모듈을 먼저 import해야 한다. import matplotlib.pyplot as plt import koreanize_matplotlib # import seaborn as sns # 데이터 프레임 모든 컬럼 그리기 # 함수명으로도 정의하기 def columns_plot(data): # y좌표 # col_list_plt = list(data.select_dtypes(exclude = "object").columns) col_list_plt = list(data.select_dtypes(include = ["float","int"]).columns) x_plt_n = 3 #.. 2023. 8. 7.
경제영어뉴스_자동요약(수정 중) !pip install selenium !pip install webdriver_manager !pip install --upgrade selenium !pip install chromedriver_autoinstaller import os import openai import time import datetime import requests from bs4 import BeautifulSoup import datetime as dt import sys # import tistoryAPI # import blogInfo # import papagoAPI # import papagoID import selenium from selenium import webdriver from selenium.webdri.. 2023. 7. 23.
옵션 전략을 위한 일봉 데이터 주봉으로 변환 _ for Option[파생상품 옵션](with python) 과거에 맹준성 대표님이자 BIT박사님 옵션 논문 데이터 관련 도와드리면서 작성했던 코드입니다. 정상작동은 하지만, 코드가 조금 너저분 할것 같습니다. 조금 옛날에 작성한 코드가 좀 부끄럽네요.. 일단 보여드리겠습니다. 먼저 해당 파일의 목적은 그 전주 목요일과 이번 주 목요일을 가지고 1개의 봉으로 만드는 과정입니다. 아래의 out_put 함수에서 start_dayofweek는 그 전 주 요일 중 시작일 end_dayofweek는 다음 주 요일 중 끝나는 요일입니다. import pandas as pd import numpy as np from datetime import datetime, timedelta from tqdm import tqdm save_path = "C:\\Users\\Happy\\D.. 2023. 6. 23.
chat GPT를 활용한 한국어 댓글 긍부정 판단 vs 공개 사전학습 모델 긍부정 판단 비교 (with python) import openai import time messages = [] out_put = [] err_list = [] openai.api_key = "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" # api 키는 https://platform.openai.com/overview 여기에서 발급받기 바랍니다​ ###############보미 사전학습 모델 (시작) ################## import torch from torch.utils.data import Dataset, DataLoader from transformers import BertTokenizerFast, BertForSequenceClassification, AdamW from .. 2023. 6. 23.
환전소 금액 1초마다 크로링 먼저 전체 코드와 아웃풋 그림입니다. from urllib.request import urlopen from bs4 import BeautifulSoup import time import datetime import pandas as pd import telegram #pip install python-telegram-bot import requests import pprint import json def Telegramchat(text): telegram_token = '5106829469:AAGc-XqcK67mDADEuJERXFXgazI68dcO_x0' telegram_chat_id = '5257112430' bot = telegram.Bot(token = telegram_token) # text =.. 2023. 5. 22.