기업협업 2

cs에 대한 생각

기업 협업이 내일이면 마지막이다. 기업 협업을 4주간 진행하면서 느낀 점은 cs지식이 실제 실무와 많이 연결되어 있다는 것이다. 예를 들어 나는 개발에서 데이터 저장은 DB만 사용하는 줄 알았는데, 문제를 어떻게 바라보느냐에 따라 DB 외에도 메모리, 파일, 등을 사용할 수 있어야 한다는 것을 알게되었다. 내가 이번에 다룬 주식 호가 데이터는 전형적인 '스트리밍 데이터'로 그 양이 어마어마하다. 이렇게 방대한 데이터를 DB에 그대로 저장하는 것은 좋은 방법이라고 할 수 없다. 왜냐하면 하나의 테이블에 매일 수백만 개의 데이터를 쌓는 것은 데이터 관리나 활용 측면에서 매우 비효율적이기 때문이다. 하지만 이런 데이터를 특정 기준에 따라 여러 파일로 분산 저장한다면 어떨까? 데이터를 관리하기도, 활용하기도 매..

메모리에서 파일로 선입선출이 아닌 벌크 이동

목표 메모리에서 파일로 데이터 이동시 선입선출이 아닌 벌크로 이동시키기 문제 메모리에서 파일로 1개씩 선입선출로 이동하는 것은 좋지 않다는 피드백 받음. 생각해보니 메모리와 파일의 데이터를 모두 합쳐 반환하는 로직을 구현하였으므로 굳이 1개씩 보낼 이유가 없었음. 즉, 데이터를 한 번에 옮기는 것이 훨씬 효율적으로 보여 이를 수정하고자 함. 행동 기존에 선입선출을 위해 사용했던 pop() 매서드를 제거하고 대신 데이터 이동 후 clear() 매서드로 데이터를 지워주었다. def memory_data(arg): args.append(arg) if len(args) > 99: insert_file(args) args.clear() # 비워주지 않으면 중복 값이 계속 이동하므로! global memory_ar..

Log/Today 2022.01.19