Linux 서버 운영에서 셸 스크립트로 장애 대응을 자동화한 경험
개인 서버를 Linux에서 운영하며 디스크 사용량이 임계치를 넘으면 오래된 로그 파일을 자동 정리하는 셸 스크립트를 작성해 cron에 등록했습니다. 한번은 특정 프로세스가 좀비 상태로 쌓여 서버 응답이 느려진 적이 있었는데, ps로 상태를 확인하고 부모 프로세스가 SIGCHLD를 제대로 처리하지 않는 게 원인임을 알았습니다. 코드를 수정할 수 없는 외부 프로그램이라 wait 처리를 감싸는 래퍼 스크립트를 만들어 우회했습니다.