zabbix-serverプロセスが稼働しない
お世話になります。
ZabbixをインストールしているサーバのOS再起動したところ、
zabbix-server のプロセスが数秒後に停止する事象が発生しました。
※OS再起動前までは、正常にプロセスは稼働しておりました。
なお、下記は手動でプロセスを開始したログとなりますが、サーバ再起動と
同様に停止します。
□zabbix-serverのバージョン：2.0.14
本事象は原因及び対処方法をおしえていただけないでしょうか。
また、サーバ再起動を行う前に下記変更を行っております。
Zabbixのデータ保存期間：365日⇒186日
イベントの保存期間：365日⇒186日
＜Zabbixログ＞
2661:20150928:205018.908 Starting Zabbix Server. Zabbix 2.0.14 (revision 51173).
2661:20150928:205018.909 ****** Enabled features ******
2661:20150928:205018.909 SNMP monitoring: YES
2661:20150928:205018.909 IPMI monitoring: YES
2661:20150928:205018.909 WEB monitoring: YES
2661:20150928:205018.909 Jabber notifications: YES
2661:20150928:205018.909 Ez Texting notifications: YES
2661:20150928:205018.909 ODBC: YES
2661:20150928:205018.909 SSH2 support: YES
2661:20150928:205018.909 IPv6 support: YES
2661:20150928:205018.909 ******************************
2664:20150928:205019.626 server #2 started [db watchdog #1]
2663:20150928:205019.626 server #1 started [configuration syncer #1]
2671:20150928:205019.635 server #9 started [trapper #1]
2672:20150928:205019.635 server #10 started [trapper #2]
2673:20150928:205019.635 server #11 started [trapper #3]
2679:20150928:205019.642 server #13 started [trapper #5]
2680:20150928:205019.643 server #14 started [icmp pinger #1]
2681:20150928:205019.643 server #15 started [alerter #1]
2682:20150928:205019.646 server #16 started [housekeeper #1]
2682:20150928:205019.646 executing housekeeper
2683:20150928:205019.653 server #17 started [timer #1]
2678:20150928:205019.653 server #12 started [trapper #4]
2692:20150928:205019.665 server #20 started [history syncer #1]
2693:20150928:205019.665 server #21 started [history syncer #2]
2661:20150928:205019.667 server #0 started [main process]
2690:20150928:205019.674 server #18 started [http poller #1]
2696:20150928:205019.679 server #22 started [history syncer #3]
2697:20150928:205019.681 server #23 started [history syncer #4]
2698:20150928:205019.682 server #24 started [escalator #1]
2699:20150928:205019.682 server #25 started [proxy poller #1]
2700:20150928:205019.682 server #26 started [self-monitoring #1]
2667:20150928:205019.917 server #5 started [poller #3]
2670:20150928:205019.918 server #8 started [unreachable poller #1]
2666:20150928:205019.919 server #4 started [poller #2]
2669:20150928:205019.920 server #7 started [poller #5]
2668:20150928:205019.923 server #6 started [poller #4]
2665:20150928:205019.924 server #3 started [poller #1]
2691:20150928:205019.938 server #19 started [discoverer #1]
2678:20150928:205032.179 cannot send list of active checks to [xxx.xxx.xxx.xxx]: host [Zabbix server] not monitored
2667:20150928:205038.103 __mem_malloc: skipped 2 asked 19648 skip_min 8008 skip_max 14880
2667:20150928:205038.103 __mem_malloc: skipped 3 asked 19648 skip_min 8008 skip_max 14880
2667:20150928:205038.104 [file:dbconfig.c,line:366] zbx_mem_realloc(): out of memory (requested 19648 bytes)
2667:20150928:205038.104 [file:dbconfig.c,line:366] zbx_mem_realloc(): please increase CacheSize configuration parameter
2661:20150928:205038.105 One child process died (PID:2667,exitcode/signal:255). Exiting ...
2661:20150928:205040.106 syncing history data...
2661:20150928:205040.130 syncing history data done
2661:20150928:205040.130 syncing trends data...
2661:20150928:205040.465 syncing trends data done
2661:20150928:205040.465 Zabbix Server stopped. Zabbix 2.0.14 (revision 51173).
TNK - 投稿数: 4671
OSは何を利用されていますか？
ディストリビューションと詳細なバージョンをお教えください。
あと、メモリ不足でプログラムが終了していると思われます。
OSを再起動しただけではこのような状態になることはほとんどあり
ません。
保存期間以外の設定も変更したり、ソフトウェアの更新を行ったり
されませんでしたか？
ログだけで判断するとしたら、
とログに出ていますので、zabbix_server.confの設定を調整してみ
てください。
えま - 投稿数: 6
TNK 様
ご返信いただき、ありがとうございます。
OSの詳細は下記となります。
□CentOS release 6.6 (Final)
また、直近で保存期間の設定変更以外は実施しておりませんが、
１週間ほど前に、ディスクの余裕がなくなったため、tmp配下の
「test」ファイルを削除しましたが、関係ございますでしょうか。
なお、ソフトウェアのバージョンアップは過去に行いましたが、
再起動しても今まではプロセスが正常に稼働しておりました。
> とログに出ていますので、zabbix_server.confの設定を調整してみ
> てください。
⇒zabbix_server.conf にて「CacheSize 」がコメントアウトになっておりましたので、
サイズを指定したところ、正常に稼働いたしました。
ありがとうございます。
8M⇒起動後、停止
16M⇒起動
CacheSize を指定することによる影響はございますでしょうか。
TNK - 投稿数: 4671
tmp配下というのは、/tmp配下ということでよろしいでしょうか？
そうであるならば、そのファイルに依存する設定がZabbix上にされ
ていなけば、Zabbixには関係無いと思います。
稼働させているサーバでメモリの余裕が無い場合には注意が必要で
す。
設定したサイズのメモリがZabbixサーバ用に占有されてしまいます
ので、そのサーバで搭載しているメモリのサイズや、起動する各プ
ロセスで使用するメモリサイズなども考慮して設定するようにして
ください。
えま - 投稿数: 6
TNK 様
> tmp配下というのは、/tmp配下ということでよろしいでしょうか？
⇒ご認識のとおりでございます。
ログを再度確認したところ、いかが出力されておりました。
> 稼働させているサーバでメモリの余裕が無い場合には注意が必要です。
⇒ご回答ありがとうございます。
メモリの状況を確認いたします。
TNK - 投稿数: 4671
ご提示頂いたログですが、
とあるのであれば、その/tmp/testディレクトリ以下にデータを取
得してZabbixと連携するようなスクリプトを利用して監視されてい
るのだと思います。
そうであるならば、/tmp/testディレクトリを削除しては監視でき
ないのではありませんか？
再度、どうやって監視をしているか、特に外部スクリプトを利用し
た監視の部分の処理内容を確認しておいてください。
ex.
/etc/zabbix/externalscripts/getRDSData.sh
えま - 投稿数: 6
TNK 様
> そうであるならば、/tmp/testディレクトリを削除しては監視でき
> ないのではありませんか？
⇒スクリプトを確認したところ、ログ出力に使用されておりました。
OS再起動後に zabbix-server のプロセスが稼働しない現象について、
他に考えられることはないでしょうか。
TNK - 投稿数: 4671
環境が変更されていない限り、単純にOSの再起動だけで
メモリ不足になることは考えられません。
正常に起動できたときから何を変更したのか再確認していた
だくしかないと思います。
起動できていたではなく、正常に起動できる状態からの変化
や変更です。
Zabbixの設定だけではなく、OSに対する変更も含めて全て
です。
えま - 投稿数: 6
TNK 様
返信いただき、ありがとうございます。
OSも含め、何かしら変更していないと本事象が発生しないとのこと
承知いたしました。再度、確認いたします。
事象解決にお力添えいただき、ありがとうございました。