txt 파일 중복 검사하는 방법 있을까요?

Question

안녕하세요.수행된 커리를 로그로 남기고 있는데요.배치는 1분하다 한번씩 실행되고 있습니다.중복되는 로그가 많아서 로그 파일의 용량이 점점 커지고 있습니다. 중복되는 문자열을 제거하고 싶은데요아래와 같이 로그가 남을 때 어떻게 중복되는 로그를 어떻게 지울수있을까요? [2022-01-14 00:30:01] insert into table values('1','2','3') ON DUPLICATE KEY UPDATE('2','3','4'); [2022-01-14 00:31:01] insert into table values('1','2','3') ON DUPLICATE KEY UPDATE('2','3','4');[2022-01-14 00:32:01] insert into table values('1','2','3') ON DUPLICATE KEY UPDATE('2','3','4');[2022-01-14 00:33:01] insert into table values('1','2','3') ON DUPLICATE KEY UPDATE('2','3','4'); ps. 중복된 쿼리를 계속 날릴 수 밖에 없는 상황입니다.

ㅅㅅㅇㅎ · Answer

java로 bash 실행하고 grep으로 검색해서 있으면 로그 안 찍으면 되죠

워익 · Answer

grep 으로 하면 중복이 제거되긴하나 앞에 시간정보까지 안나오게 되내요 ..중복제거 후 시간정보 다시 불러오는 방법 있을까요 ? 사용한 명령어는 # cut -f 2-3 -d ']' log.txt |sort|uniq 입니다

siva6 · Answer

시간정보는 어떤게 남아야 하나요? 처음? 마지막?파일 용량이 문제라면 그냥 압축을 하시는게 좋지 않을까요? 중복된 내용의 파일이면 압축률도 높습니다. 나중에 cat을 이용해서 확인하는 용도라면 zcat도 있으니까요.

워익 · Answer

시간정보는 처음꺼가 남았으면 합니다.압축은 tar 말씀하시는건가요..? 코린이라 양해부탁드려요

siva6 · Answer

tar 명령어로 할 수도 있지만, gzip 입니다.

txt 파일 중복 검사하는 방법 있을까요?

5개의 답변

Q&A 목록