Rsyslog : ver 8
LogAnalyzer : ver 4.1.3
[Server] - Rsyslog
Rsyslog 설치
wget 패키지 설치 (없는경우만)
# If not exist wget
$ yum install -y wget
$ yum update
Rsyslog 설치
# Install Rsyslog
$ wget http://rpms.adiscon.com/v8-stable/rsyslog.repo
$ mv rsyslog.repo /etc/yum.repos.d/rsyslog.repo
$ yum install -y rsyslog
$ systemctl enable rsyslog
Rsyslog-mysql 설치
# Install rsyslog-mysql
$ yum install -y rsyslog rsyslog-mysql
Mysql 설치 및 rsyslog-DB 세팅
MySQL 설치
# Install MySQL
$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
$ yum update
$ yum install -y mysql-server
$ systemctl start mysqld
MySQL 초기 설정
# Setting MySQL
$ mysql_secure_installation
Rsyslog Database 덤프
# Import rsyslog-mysql dump
$ mysql -u root -p < /usr/share/doc/rsyslog-mysql-x.x.x/createDB.sql/
Rsyslog용 계정 생성
# Create the user to access the database
$ mysql -u root -p
mysql> GRANT ALL ON Syslog.* TO 'rsyslog'@'localhost' IDENTIFIED BY 'Password'; #<- 실제 쓰는걸로 넣자
mysql> FLUSH PRIVILEGES;
mysql> exit
Rsyslog 세팅
설정파일 편집기로 실행
$ vi /etc/rsyslog.conf
설정파일에 MySQL 모듈/템플릿 추가
# Load the MySQL Module
$template SQLWithProcessID,"insert into SystemEvents (Message, Facility, FromHost, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag, ProcessID) values ('%msg%', %syslogfacility%, '%HOSTNAME%', %syslogpriority%, '%timereported:::date-mysql%', '%timegenerated:::date-mysql%', %iut%, '%syslogtag:R,ERE,1,FIELD:([a-zA-Z\/]+)(\[[0-9]{1,5}\])*:--end%', '%syslogtag:R,ERE,1,BLANK:\[([0-9]{1,5})\]--end%')",sql
module(load="ommysql")
action(type="ommysql"
server="localhost"
serverport="3306"
db="Syslog"
uid="rsyslog"
pwd="password" #<- 실제 쓰는걸로 넣자
template="SQLWithProcessID")
설정파일에서 UDP 통신을 위한 포트 설정 주석 제거
# Provides UDP syslog reception
# for parameters see http://www.rsyslog.com/doc/imudp.html
module(load="imudp") # needs to be done just once
input(type="imudp" port="514")
설정파일에 룰 수정
local1 은 httpd
local2 는 nginx
local3 는 python
local4 는 php
로 정의해서 쓰기로 함.
message파일 에 저장하지 않으려면 local1.!* 처럼 추가로 등록한 속성에 대해서 예외처리 걸어줘야함
#### RULES ####
...
*.emerg :omusrmsg:*
...
# Custom - tez
$template tmplmsg, "/var/log/remote/%hostname%/%programname%.log"
$template tmplhttpd, "/var/log/remote/%hostname%/httpd.log"
$template tmplhttpdaccess, "/var/log/remote/%hostname%/httpd-access.log"
$template tmplhttpderror, "/var/log/remote/%hostname%/httpd-error.log"
$template tmplnginx, "/var/log/remote/%hostname%/nginx/nginx.log"
$template tmplnginxaccess, "/var/log/remote/%hostname%/nginx/nginx-access.log"
$template tmplnginxerror, "/var/log/remote/%hostname%/nginx/nginx-error.log"
$template tmplpython, "/var/log/remote/%hostname%/%programname%.log"
$template tmplphp, "/var/log/remote/%hostname%/%programname%.log"
$template tmplauth, "/var/log/remote/%hostname%/secure/%programname%.log"
$template tmplmail, "/var/log/remote/%hostname%/maillog/%programname%.log"
$template tmplcron, "/var/log/remote/%hostname%/cron/%programname%.log"
$template tmplspooler, "/var/log/remote/%hostname%/spooler/%programname%.log"
$template tmplboot, "/var/log/remote/%hostname%/boot/%programname%.log"
*.info;local1.!*;local2.!*;local3.!*;local4.!*;mail.none;authpriv.none;cron.none ?tmplmsg #httpd.info(access)도 포함
authpriv.* ?tmplauth
mail.* ?tmplmail
cron.* ?tmplcron
uucp,news.crit ?tmplspooler
local7.* ?tmplboot
local1.*;local1.!=info;local1.!=error ?tmplhttpd
local1.info ?tmplhttpdaccess
local1.error ?tmplhttpderror
local2.*;local2.!=info;local2.!=error ?tmplnginx
local2.info ?tmplnginxaccess
local2.error ?tmplnginxerror
local3.* ?tmplpython
local4.* ?tmplphp
rsyslog 재시작
$ systemctl restart rsyslog
!! 만약 firewall / iptables / selinux 사용하는 경우 udp514 포트를 열어주자
Logrotate 설정
/etc/logroate.conf
/etc/logrotate.d/*
/etc/logrotate.d/rsyslog_remote 생성해서 템플릿으로 경로를 바꾼 로그들도 관리되게 해주자
# >$ /etc/logrotate.conf
...
#weekly
daily
...
#rotate 4
rotate 5
...
copytruncate
...
# >$ /etc/logrotate.d/rsyslog_remote
#/var/log/remote/*.log
/var/log/remote/*/*.log
/var/log/remote/*/*/*.log
{
mail dev@tez.kr # optional
daily
rotate 5
dateext
missingok
ifempty
copytruncate
create 0600 root root
sharedscripts
postrotate
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
endscript
}
메일 전송을 위한 패키지 설치/설정
$ yum install mailx ncompress
# >$ vi /etc/postfix/main.cf
...
message_size_limit = 20480000
$ systemctl restart postfix
[Server] - LogAnalyzer
아파치 설치, 실행 (설치 안된 경우만)
# Install and Start Httpd (Apache2)
$ yum install -y httpd
$ systemctl start httpd
$ systemctl enable httpd
아파치 실행 후 브라우저로 확인 ( http://server-ip/ )
PHP 설치, 실행
# Install php
$yum install -y php php-mysql php-gd
# Create phpinfo page
$ nano /var/www/html/test.php
<?php
phpinfo();
?>
# Restart Apache Service
$ systemctl restart httpd
http://server-ip/test.php 로 접속하여 php정보 확인
LogAnalyzer 설치
다운로드
$ wget http://download.adiscon.com/loganalyzer/loganalyzer-4.1.3.tar.gz
압축해제
$ tar zxvf loganalyzer-4.1.3.tar.gz
Apache에 LogAnalyrzer 설치파일 복사
cp -r loganalyzer-4.1.3/src/ /var/www/html/loganalyzer
cp -r loganalyzer-4.1.3/contrib/* /var/www/html/loganalyzer/
권한 수정
- 하위버전에서는 configure, secure 파일만 수정하면 되지만 권한 문제가 발생하는 경우가 종종있어서 폴더 전체에 권한 설정을 해준다.
$ cd /var/www/html/loganalyzer/
$ chmod +x configure.sh secure.sh
# If permission error occurred
$ chown apache:apache -R /var/www/html/loganalyzer/
$ find . -type f -exec chmod 0644 {} \;
$ find . -type d -exec chmod 0755 {} \;
$ chcon -t httpd_sys_content_t /var/www/html/loganalyzer -R
$ chcon -t httpd_sys_rw_content_t /var/www/html/loganalyzer -R
configure.sh 실행 -> 빈 config.php 파일을 쓰기권한으로 생성해준다
$ ./configure.sh
# If permission error occurred
$ cd /var/www/html/loganalyzer
$ touch config.php
$ chown apache:apache config.php
$ chmod 777 config.php
설치
- http://server-ip/loganalyzer 접속
- Step 1
- next
- Step 2
- next
- permission 문제 발생시 위에있는 권한관련 처리
- Step 3
- Enable User Database -> Yes
- DB 관련 정보 입력
- DatabaseName : Syslog
- Require user to be logged in -> YES
- Step 4
- next
- Step 5
- next
- Step 6
- 계정 생성
- next
- Step 7
- Source Type -> MySQL native
- Select View -> Syslog Fields
- DB 정보 입력
- Database Name -> Syslog
- Table Name -> SystemEvents (대소문자 구분!!)
- Step 8
- next
[Client]
Rsyslog 설치
wget 패키지 설치 (없는경우만)
# If not exist wget
$ yum install -y wget
$ yum update
Rsyslog 설치
# Install rsyslog-mysql
$ yum install -y rsyslog rsyslog-mysql
Rsyslog 세팅
설정파일 편집기로 실행
$ vi /etc/rsyslog.conf
설정파일에 rsyslog server 정보 추가
- apache log 전송을 위해 local1 룰 추가
- 모든 로그를 로그서버로 전송
local1 은 httpd
local2 는 nginx
local3 는 python
local4 는 php
로 정의해서 쓰기로 함.
message파일 에 저장하지 않으려면 local1.!* 처럼 추가로 등록한 속성에 대해서 예외처리 걸어줘야함
#### RULES ####
...
#*.info;mail.none;authpriv.none;cron.none /var/log/messages
*.info;local1.!*;local2.!*;local3.!*;local4.!*;mail.none;authpriv.none;cron.none /var/log/messages
...
# for Custom log
local1.*;local1.!=info;local1.!=error /var/log/httpd
local1.info /var/log/httpd-access
local1.error /var/log/httpd-error
local2.* /var/log/nginx
local3.* /var/log/python
local4.* /var/log/php
...
#*.* @@remote-host:514
*.* @x.x.x.x:514 # <- log server ip
rsyslog 재시작
$ systemctl restart rsyslog
Apache 세팅
apache log 를 syslog로 전달하기 위한 작업
- httpd.conf 수정
- ErrorLog랑 CustomLog 추가
# >$ vi /usr/local/apache2/conf/httpd.conf
...
SetEnvIfNoCase Request_URI "\.(jpg|jpeg|png|gif|bmp|css|ico|js|swf)$" exceptlist
...
#ErrorLog "logs/error_log"
ErrorLogFormat "%t %a [%v] \"%{User-Agent}i\" [%-l] %7F: %E: %M"
ErrorLog "|/usr/bin/logger -p local1.error -t httpd"
...
#CustomLog "logs/access_log" common
LogFormat "%h %l %u %t \"%v%U\" \"%r\" %>s %b \"%{User-Agent}i\" **%Tsec/%Dmsec**" combinedTez
CustomLog "|/usr/bin/logger -p local1.info -t httpd" combinedTez env=!exceptlist
- httpd-vhost.conf 수정
- 위의 설정을 하고 이곳에 로그를 주석처리해야 rsyslog에서 설정한 로그로 저장된다.
...
<VirtualHost *:80>
...
#ErrorLog "logs/tez.kr-error_log"
#CustomLog "logs/tez.kr-access_log" common
...
</VirtualHost>
Nginx 세팅
nginx log 를 syslog로 전달하기 위한 작업 (nginx >= 1.7.1)
- nginx.conf 수정
- error_log, access_log 추가
# >$ vi /etc/nginx/nginx.conf
...
#error_log /var/log/nginx/error.log;
error_log syslog:server=unix:/dev/log,facility=local2,tag=nginx,severity=error;
...
http {
...
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
#access_log /var/log/nginx/access.log main;
access_log syslog:server=unix:/dev/log,facility=local2,tag=nginx,severity=info main;
...
}
...
- vhost.conf 확인
- vhost안에 log 설정하는 부분이 있으면 빼주자
Logrotate 설정
logrotate 설정을 변경해준다
- 하루단위로 백업, 3일 단위로 rotate, mail
# >$ vi /etc/logrotate.conf
# see "man logrotate" for details
# rotate log files weekly
daily
# keep 4 weeks worth of backlogs
rotate 3
...
logrotate -> syslog 설정을 변경해준다
- 하루단위로 백업, 3일 단위로 rotate, mail
# >$ vi /etc/logrotate.d/syslog
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
/var/log/httpd
/var/log/httpd-access
/var/log/httpd-error
/var/log/nginx
/var/log/python
/var/log/php
/var/log/shopadmin_server_production.log # <- 필요한데서만
/var/log/shopadmin_server_development.log # <- 필요한데서만
/var/log/shopadmin_call_server_production.log # <- 필요한데서만
/var/log/shopadmin_call_server_development.log # <- 필요한데서만
/var/log/riderapp_server_production.log # <- 필요한데서만
/var/log/riderapp_server_development.log # <- 필요한데서만
/var/log/push_server_production.log # <- 필요한데서만
/var/log/push_server_development.log # <- 필요한데서만
/var/log/stat_push_server_production.log # <- 필요한데서만
/var/log/stat_push_server_development.log # <- 필요한데서만
/var/log/stat_shopadmin_call_server_production.log # <- 필요한데서만
/var/log/stat_shopadmin_call_server_development.log # <- 필요한데서만
{
daily
rotate 3
dateext
missingok
ifempty
copytruncate
create 0600 root root
sharedscripts
postrotate
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
endscript
}
강제로 logrotate 실행
$ logrotate -f /etc/logrotate.d/syslog
logrotate debug 모드 (실제 실행될거 테스트)
$ logrotate -d /etc/logrotate.d/syslog
개발 언어별 syslog 사용 방법
Python
formatter를 수정하여 커스터마이징 로거 생성
- Option1
- 이걸 사용하면 경로, 함수이름, 호출 라인을 측정할 수 있다. 하지만 기존에 사용하는 로그는 함께 동작하지 않음
- 사용법은 Common.getLogger.info(메시지) 형태로 사용, info 위치에는 error, crit 등 타입이 들어감
- Option2 :
- 이걸 사용하면 syslog 와 함께 내부 로그도 같이 작동한다. 하지만 경로, 함수이름, 호출 라인은 없이 메시지만 가능
- 사용법은 Common.infoLog(메시지) 형태로 사용, info 위치에는 error, crit 등 타입이 들어감
import logging
import logging.handlers
# Init logger for other class
externalLogger = logging.getLogger('external')
externalLogger.setLevel(logging.DEBUG)
externalHandler = logging.handlers.SysLogHandler(address='/dev/log',facility='local3')
externalHandler.formatter = logging.Formatter('프로젝트 이름: [%(levelname)s] %(pathname)s - %(funcName)s line:%(lineno)d message:%(message)s')
externalLogger.addHandler(externalHandler)
# Init logger for Common class
internalLogger = logging.getLogger('internal')
internalLogger.setLevel(logging.DEBUG)
internalHandler = logging.handlers.SysLogHandler(address='/dev/log',facility='local3')
internalHandler.formatter = logging.Formatter('프로젝트 이름: [%(levelname)s] %(message)s')
internalLogger.addHandler(internalHandler)
# Option 1 - Common.getLogger.info(message) // <- enable pathname, funcname, lineno
def getLogger(externalCall=True):
if externalCall is True:
return externalLogger
else:
return internalLogger
# Option2 - Common.xxxxLog(message) // <- just message
def infoLog(message):
getLogger(False).info(message)
log(message)
def errorLog(message):
getLogger(False).error(message)
log(message)
def criticalLog(message):
getLogger(False).critical(message)
log(message)
사용 예제
import Common
# Option 1
Common.getLogger().info('Tez Full log teset')
Common.getLogger().critical('Tez Full log teset')
Common.getLogger().error('Tez Full log teset')
# Option 2
Common.infoLog('tez info')
Common.errorLog('tez error')
Common.critical('tez critical')
!!! 공용 class를 만들어서 사용할 경우 pathname, funcName, lineno 등을 고려하자
PHP
<?php
openlog('프로젝트이름', LOG_CONS | LOG_NDELAY, LOG_LOCAL4);
syslog(LOG_DEBUG, 'Php degug!');
syslog(LOG_INFO, 'php info');
syslog(LOG_ERR, 'php err');
syslog(LOG_CRIT, 'php crit');
closelog();
?>
사용예제
// Debug Log
openlog(PROJECT_NAME, LOG_CONS | LOG_NDELAY, LOG_LOCAL4);
syslog(LOG_DEBUG, "$log_str");
closelog();
// Error Log
openlog(PROJECT_NAME, LOG_CONS | LOG_NDELAY, LOG_LOCAL4);
if (isset($_SERVER['HTTP_USER_AGENT']) && isset($_SERVER['REMOTE_ADDR'])) {
syslog(LOG_ERR, "{$log_str} {$_SERVER['REMOTE_ADDR']} ({$_SERVER['HTTP_USER_AGENT']})");
}
else {
syslog(LOG_ERR, "{$log_str}");
}
closelog();
CodeIgniter는 config.php 에서 log_threshold 값을 2이상으로 줘야 debug 로그가 보인다
0: logging x
1: error log
2: debug log
3: info log
백업 및 데이터 정리
Log 데이터 백업
매일 주기적으로 cron.daily 에 등록하여 AWS S3 로 데이터 저장
# /etc/cron.daily/syslog_to_s3.sh
s3cmd sync --recursive /var/log/remote/ s3://tez-syslog/logs/
MySQL 데이터 정리
매일 주기적으로 DB 에서 3일이 지난 데이터는 삭제
DB가 계속 쌓이면 Loganalyzer를 확인할때 갱신속도가 엄청나게 느려지고 서버 용량이 금방 고갈난다
# /etc/cron.daily/delete_old_db_datas.sh
mysql --login-path=dumpusr Syslog -e "delete from SystemEvents where ReceivedAt < date_add(date_format( now() , '%Y-%m-%d %k:%i:%s'), interval -3 day) ORDER BY ID ASC"
삭제하는 쿼리를 돌리면 데이터 양에 따라서 속도가 느리고 cpu부하가 심하게 걸리는데, 이걸 방지하기 위해 ReceivedAt 필드에 Index를 걸어주자.
속성별 저장 위치
Remote Server
[ApacheLog]
- 기존 사용 경로에 저장안됨
- /var/log/httpd
- /var/log/httpd-access
- /var/log/httpd-error
[Nginx]
- /var/log/nginx
[PhpLog]
- 기존 사용 경로에 저장됨
- /var/log/php
[PythonLog]
- 기존 사용 경로에 저장됨
- /var/log/php
Log Server
- /var/log/remote/[host]/[program]
반응형
'Programming > Linux' 카테고리의 다른 글
| [Timezone] 한국 표준시로 변경 - CentOS7 (0) | 2017.03.19 |
|---|---|
| [Command] RHEL7 systemctl 명령어들 (0) | 2016.12.11 |
| [NTP] 시간 동기화 자체 서버 구축 / 클라이언트 설정 (0) | 2016.09.26 |
| [NTP] NTP daemon / crontab으로 시간 동기화 (0) | 2016.09.26 |
| [Logrotate] 강제로 갱신, Debug모드 (0) | 2016.09.26 |
| [Service] Shell script를 python service로 구동하기 (0) | 2016.09.26 |
| [User] User 추가/Root권한/비밀번호 인증 활성화 (0) | 2016.09.26 |
| [SSH] PW없이 로그인 (0) | 2016.09.26 |
| [Service] Service list (0) | 2016.09.26 |
| [Semanage] ssh 특정 포트 접근 제어 (0) | 2016.09.26 |
