대용량 csv 파일에서 일부 데이터만 빼오고 싶을때 어떻게 하는게 좋을까요?

Question

천만개가 넘는 1분단위 시계열 row를 가지고있는 csv 파일에서 10분단위의 row만 빼내고 싶은데 이럴때는 어떻게 해야할까요?예) 2023 02 06 10:01 ~ 2023 02 06 10:59 분까지 있다면2023 02 06 10:102023 02 06 10:202023 02 06 10:302023 02 06 10:402023 02 06 10:50요런식으로 5개의 row만 빼내고 싶은데 어떻게 하는게 좋은까요....이걸 db에 넣어서 10분단위 데이터만 제외하고 delete 하자니 시간이 너무 오래 걸릴것 같아서요...

머리가아파요 · Answer

일회성 작업이라면 CSV에 직접 쿼리를 하세용. mithrandie/csvq: SQL-like query language for csv (github.com)

장독깨기 · Answer

파일 열고 라인 단위로 읽어서 해당 데이터 다른 파일로 저장하시든지,cat file.txt | grep &#34;:[0-5]0&#34; > 10.txt

대용량 csv 파일에서 일부 데이터만 빼오고 싶을때 어떻게 하는게 좋을까요?

2개의 답변

Q&A 목록