파일 시스템으로 DB 인서트 하는 중

목표 

• 파일 시스템을 활용하여 수신 데이터를 저장해두었다가 벌크로 DB에 저장하는 로직 구현하기
  
  

 

문제

• 파일 시스템으로 csv파일에 데이터를 입력해야 함
  
  
• DB에 벌크로 입력하는 코드를 작성해야 함
  
  
• csv에서 DB로 벌크 입력한 후 해당 파일의 내용은 삭제해야 함
  
  
• 최신 데이터 100개를 가져오는 로직을 구현해야 함
  
  

 

행동

• csv파일을 생성하고 데이터를 입력하는 로직 구현함
  
  
• sql문으로 벌크 저장하는 로직 구현함
  
  
• csv의 전체 데이터를 읽어 들여 DB에 입력하는 기능 구현함
  
  
• DB에서 최근 데이터 100개 불러오는 로직 구현함
  
  

 

고민

• csv 데이터를 요청 때마다 초기화 해주지 않으면 DB로 중복해서 저장될 우려가 있음
  
  
• csv 전체 데이터를 한 번에 저장하기 때문에 요청과는 별개로 불필요한 부하가 생길 수 있음
  
  

 

앞으로

• csv파일에 있는 값을 지우는 방법을 찾아서 구현하고 싶음
  
  
• 데이터 저장 로직과 별개로 메모리에 반환 값을 미리 캐싱해두기로 함