반응형
목표
- 파일 시스템을 활용하여 수신 데이터를 저장해두었다가 벌크로 DB에 저장하는 로직 구현하기
문제
- 파일 시스템으로 csv파일에 데이터를 입력해야 함
- DB에 벌크로 입력하는 코드를 작성해야 함
- csv에서 DB로 벌크 입력한 후 해당 파일의 내용은 삭제해야 함
- 최신 데이터 100개를 가져오는 로직을 구현해야 함
행동
- csv파일을 생성하고 데이터를 입력하는 로직 구현함
- sql문으로 벌크 저장하는 로직 구현함
- csv의 전체 데이터를 읽어 들여 DB에 입력하는 기능 구현함
- DB에서 최근 데이터 100개 불러오는 로직 구현함
고민
- csv 데이터를 요청 때마다 초기화 해주지 않으면 DB로 중복해서 저장될 우려가 있음
- csv 전체 데이터를 한 번에 저장하기 때문에 요청과는 별개로 불필요한 부하가 생길 수 있음
앞으로
- csv파일에 있는 값을 지우는 방법을 찾아서 구현하고 싶음
- 데이터 저장 로직과 별개로 메모리에 반환 값을 미리 캐싱해두기로 함
반응형
'Log > Today' 카테고리의 다른 글
| apscheduler를 활용한 예약 실행 성공 (0) | 2022.01.18 |
|---|---|
| 메모리, csv, DB입력, 그리고 데이터 반환 (0) | 2022.01.17 |
| threading 왜 되는 걸까? PumpMessages가 뭐길래? (0) | 2022.01.13 |
| threading 으로 python병렬처리 성공 (0) | 2022.01.12 |
| Flask로 Subscribe데이터 받기 실패 (0) | 2022.01.10 |