본문 바로가기

파이썬49

apscheduler를 활용한 예약 실행 성공 목표 파일에서 DB로 옮기는 코드를 장 마감 시간에 맞춰 자동 실행하기 문제 기존에는 파일의 데이터를 DB로 옮기기 위해서는 클라이언트에서 추가로 요청을 해야 했다. 하지만 정해진 시간에 자동으로 작업을 수행하면 요청을 따로 할 필요도 없고 실수로 누락될 일도 없겠다는 생각이 들었다. 행동 스케줄을 사용하기 위해 구글링을 하다 보니 while로 무한 루프를 하는 코드만 있었다. 하지만 다행스럽게도 apscheduler 라이브러리를 사용하면 while을 돌릴 필요없이 다중 스케줄을 사용할 수 있었다. 그리고 실제 적용해본결과 flask서버와도 함께 사용할 수 있었다. 이로써 서버 시작과 동시에 여러 스케줄들을 자동으로 수행하는 것은 물론, 클라이언트로부터 다른 요청도 받을 수 있었다. # apschedul.. 2022. 1. 18.
메모리, csv, DB입력, 그리고 데이터 반환 목표 - 메모리와 파일 시스템(csv)을 활용하여 DB에 데이터 입력 - 데이터 요청 시 벌크가 0이라면 해당 종목의 가장 최근 데이터 1개 반환 - 데이터 요청 시 벌크가 1이라면 해당 종목의 가장 최근 데이터 최대 100개 반환 문제 - 메모리에 데이터가 100개 이상이 되면 csv파일로 선입선출 방식을 통해 이동해야 함 - csv파일의 데이터는 한 번에 DB로 이동해야 함 - 유저가 요청하면 종목 코드에 맞는 데이터를 1개 또는 최대 100개까지 가져와야 함 행동 - 리스트 안에 데이터가 100개가 된다면 pop()을 이용해 선입선출로 csv로 이동하는 로직 구현 # ------------------------ # 메모리를 활용한 데이터 관리 코드 args = [] # 최근 데이터는 100개 까지 .. 2022. 1. 17.
평균 구하기 문제 설명 정수를 담고 있는 배열 arr의 평균값을 return하는 함수, solution을 완성해보세요. 제한사항 arr은 길이 1 이상, 100 이하인 배열입니다. arr의 원소는 -10,000 이상 10,000 이하인 정수입니다. 해결 방법 1. 리스트의 각 요소들의 합계를 구한다 2. 리스트의 요소 수를 구한다 3. 합계와 요소 수를 나눈다 *sum과 for문 등으로 문제를 해결 할 수 있다. # sum의 경우 def solution(arr): return sum(arr)/len(arr) # for의 경우 def solution(arr): a = 0 for i in arr: a += i return a/len(arr) 2022. 1. 17.
파이썬 멀티 스레딩 프로세스와 스레드 확인 os.getpid() : 현재 프로세스 아이디(PID)를 반환한다 threading.get_ident() : 현재 스레드의 식별자를 반환한다 print(f"{os.getpid()} process | {threading.get_ident()} url : {url}") 아래 실습 코드를 실행해보고 '싱글 스레드'와 '멀티 스레드'의 결과 값을 비교해보자 # 실습 코드 import requests import time import os import threading from concurrent.futures import ThreadPoolExecutor ''' concurrent.futures 모듈은 비동기적으로 콜러블을 실행하는 고수준 인터페이스를 제공합니다. 비동기 실행은 (Thre.. 2022. 1. 16.
동시성(병행성) vs 병렬성 동시성(Cuncurrency) 논리적 개념 at the same time (X) 동시성이란 스위칭으로 한 번에 여러 작업을 동시에 다루는 것을 의미 → 싱글 프로세스, 싱글 스레드가 스위칭을 하면서 여러 작업을 수행 → 멀티스레드도 스위칭하며 작업 가능 비유) 하나의 로봇이 왔다 갔다 하며 작업을 수행 (바운드될 때마다 스위칭) 병렬성(Parallelism) 물리적 개념 at the same time (O) 병렬성은 한 번에 여러 작업을 병렬적으로 처리하는 것을 의미 → 멀티 프로세스, 멀티 스레드를 통해 동시에 여러 작업을 수행 → 싱글 스레드는 불가능 비유) 여러 로봇이 동시에 각자 맡은 작업을 수행 유의할 점 동시성과 병렬성은 함께 공존할 수 있다. 예를 들어 병렬적으로 작업을 수행하면서 그 하위에.. 2022. 1. 16.
파이썬 코루틴 활용 웹사이트 데이터 가져오기 1. session을 통해 url에 접속한다 2. request.get을 통해 데이터를 가져온다 3. session을 닫고 걸린 시간을 측정한다 * session을 간편하게 닫기 위해 with문을 사용했다. with문을 사용하면 with 블록을 벗어나는 순간 자동으로 close되어 편리하다. 4. 일반 코드와 코루틴 코드의 결과를 비교해본다 일반 코드의 경우(동기) >>> 15.04025387763977 초 ''' 동기로 코드를 작성할 경우 15.04025387763977 초 소요 ''' import requests import time def fetcher(session, url): with session.get(url) as response: return response.te.. 2022. 1. 16.

티스토리툴바