[서비스-장애대응] Process가 수시로 죽는다(Down)

[장애 내용]

필자가 유지보수 중인 Java Service 중 한개가 ARIA 암호화로 인해 Thread zombie로 변하여,

WEB-WAS간의 통신 장애를 일으켜 원인 불명 & 시간 관계 없이 장애가 발생하였다.

 

[장애 대응]

  가. 로그를 Crontab과 같은 스케쥴러로 주기적으로 체크하여 SMS 모듈 또는 알림 서비스 등이 있다면 활용한다.

 

[장애 임시 조치]

#!/bin/bash
DATA=`tail -n 5 ${LOG_PATH}/JeusServer.log`

FILEPATH="${LOG_PATH}/JeusServer.log"
NOW_DATE=$(date "+%Y.%m.%d %H:")

#awk '{print substr($1,2), substr($2,0,2) }'
LAST=`cat ${FILEPATH} | grep "연결이 거부됨" | grep -v "grep" | tail -1 | grep "${NOW_DATE}"`


USER=`${COMMAND_PATH}/decode.sh "${COMMAND_PATH}"`
PASS=`${COMMAND_PATH}/decode.sh "${COMMAND_PATH}"`
MOBILE=`${COMMAND_PATH}/decode.sh "암호화데이터"`

if [[ "${LAST}" == *"연결이 거부됨"* ]];then
    /app/mariadb/bin/mysql -h192.168.5.9 -P13306 -u${USER} -p${PASS} 데이터베이스 -e "
insert into "SMS 테이블" 
SET A = "데이터"
"
curl -G "HTTP URL으로도 활용 가능"

echo "SMS SEND OK"
exit
fi  
echo "NO ISSUE"
exit

#!/bin/bash
#암호화
function encrypt() {
	echo $1 | openssl aes-256-cbc -a -salt -pass pass:somepassword
}

#복호화
function decrypt() {
	echo $1 | openssl aes-256-cbc -d -a -pass pass:somepassword
}

echo `encrypt "a"`
echo `decrypt "U2FsdGVkX19gu5m9S2pB+MzkBShlWymRU2hQjYbehaY="`