서버 로그관련 질문입니다.

Question

find . | xargs grep '&#34; 404' > 404.out 폴더 내의 로그에 404 에러에 대한 내용을 로그파일 안의 문자열에서 상기 명령어로404.out이라는 파일로 저장명령을 주는데요,로그 용량이 기하급수적으로 증가하는 현상이 계속해서 발생합니다.(초당 100MB는 넘는 속도로 증가함...).out 외의 확장자(.log, .txt 등)를 이용해도 간헐적으로 발생하는 현상이라, 정확한 원인을 모르겠는데요... 명령어가 잘못된 건가요? 아니면 근본적으로 해결이 안되는 에러인가요?

마르세유1 · Accepted Answer

저는 이렇게 사용하거든요cat 위치 | grep 검색어 > 파일명 제가 검색하는걸로 하나 테스트로 찾아보니 8000바이트짜리가 위의 검색명령어로 해보니 용량이 어마어마하네요...문법이 틀려서 잘못되는거같은데요..? 그리고 find로 찾으니 검색어 말고 다른 라인도 파일에 써지네요

마르세유1 · Answer

그렇게하면 404.out 파일에는 뭐가 쌓여요?grep &#34;&#34; 와 404' 이부분도 맞는건가요?

bayleys · Answer

404로 grep 하는게 잘못 되었을듯요... 로그에서 404 문자열 많이 나와요... 20181127 04:04:04 뭐 이런 datetime도 그렇고....

Coon · Answer

마르세유1첫번째 질문에 답변을 드리자면 해당 폴더 내 로그파일에서 404문자열을 추출한 것들만 쌓입니다.두번째 질문에 대해서는...Syntax Error같은 경우 틀리면 그냥 실행 자체가 안되겠지만 실행은 잘 되고,간헐적으로 성공과 실패를 한다는게 문제점으로 질문드린거구요.

Coon · Answer

bayleys님 말씀대로면엄청난양의 로그가 항상 쌓여야하는데,제가말한 [성공]시에 평균 300~400MB가량되는 용량으로 제법 평균적인 용량이 나옵니다.[실패]할 시에는 눈으로 확인한 것만 20GB를 향해 달리더라구요(실시간 급상승). 말씀하신대로라면, grep말고 더 좋은 명령어가 있을까요? 혹시나 해서 'HTTP/1.1&#34; 404'문자열로도 시도해보았습니다만, 용량증가 현상은 여전합니다.

Coon · Answer

마르세유1감사합니다. 시도해보겠습니다 ^^ 근데 제가 [한 폴더안에있는 모든 로그파일]을 대상으로하는거라,cat이라는 명령어로 될지는 모르겠네요.

bayleys · Answer

아... 404.out도 grep으로 긁어지겠네요.... 404.out을 현재 디렉토리보다 상위에 저장해보세요... > ../404.out 아니면 find . -name '*.log' | xargs grep 404 > 404.out

서버 로그관련 질문입니다.

7개의 답변

Q&A 목록