zabbix6.0.25で突然zabbix-serverが起動しなくなった
zabbix5.0からアップグレード後、しばらく6.0.25が動作していたのですが、突然zabbix-serverが起動しなくなりました。
アップグレード後しばらくは動作していたため、その前後で行った変更が怪しいと思い戻してみたのですが復帰しませんでした。
環境
zabbix-server フロントエンド Zabbix用DBはそれぞれ別のサーバを利用しています
zabbix-server ubuntu20.04 Ver5.0系から6.0系へのアップグレードを実施 ver6.0.25を利用
フロントエンド ubuntu 22.04 Apache2 PHP8.1 ver6.0.25を利用
DB ubuntu 22.04 mariadb10.11 別のサーバでZabbix6.0のスキーマへ変更された事が確認できたデータをdumpし、このサーバへ投入
文字コードの変更と主キー追加を行った後、DBサーバを入れ替えて動作
元々はmariadb10.5で動作していた物ですが、スキーマ更新後今のサーバへ移動した際に10.11を利用しはじめています
このトラブルが生じる前は、アイテムの取得、最新データの確認なども含めて2時間ほど正常に動作していたことは確認済みです
直前に行っていたこと
テンプレート系が大きく変わっていたので、最新の物へ置き換え、ホスト側もかぶるアイテムは履歴も含めて削除して新しいテンプレートを適用していた
その作業中にIPMIを利用したアイテムが取得出来ていないことを確認 zabbix-serverのアップグレード時にopenIpmiが削除対象になっていたことを思い出しインストールを行った
しばらく作業を行っていると、zabbixサーバが起動していない、と表示されたため確認したところ以下のようなログが繰り返し出現するようになっていた
openIpmiはremoveしてみたが以下に添付するログが同じように表示され、正常に起動しませんでした
configuration syncer のプロセスが落ちていることが原因のようですが、関係するような設定は変更した記憶が無く、confファイルを見ても該当項目が見当たりませんでした
アップグレードではなく、新規にサーバを立てて一度入れ直してみる、という事は対応として考えていますが、もし何かしらトラブル解消のヒントが見付かるようなら、と書き込ませていただきました。
よろしくお願いいたします。
起動に失敗したときに出力されているログ
1541:20240117:185411.351 using configuration file: /etc/zabbix/zabbix_server.conf
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
1541:20240117:185411.364 current database version (mandatory/optional): 06000000/06000044
1541:20240117:185411.364 required mandatory version: 06000000
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
1542:20240117:185411.373 starting HA manager
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
1542:20240117:185411.378 HA manager started in active mode
1541:20240117:185411.380 server #0 started [main process]
1543:20240117:185411.382 server #1 started [service manager #1]
1544:20240117:185411.382 server #2 started [configuration syncer #1]
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
WARNING: MYSQL_OPT_RECONNECT is deprecated and will be removed in a future version.
1544:20240117:185412.667 __mem_malloc: skipped 21 asked 549272 skip_min 264 skip_max 317944
1544:20240117:185412.667 === memory statistics for configuration cache ===
1544:20240117:185412.667 free chunks of size 24 bytes: 108
1544:20240117:185412.667 free chunks of size >= 256 bytes: 21
1544:20240117:185412.667 min chunk size: 24 bytes
1544:20240117:185412.667 max chunk size: 317944 bytes
1544:20240117:185412.667 memory of total size 58735776 bytes fragmented into 523295 chunks
1544:20240117:185412.667 of those, 624208 bytes are in 129 free chunks
1544:20240117:185412.667 of those, 58111568 bytes are in 523166 used chunks
1544:20240117:185412.667 of those, 8372704 bytes are used by allocation overhead
1544:20240117:185412.667 ================================
1544:20240117:185412.667 === Backtrace: ===
1544:20240117:185412.668 13: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](zbx_backtrace+0x51) [0x555ec4f78a21]
1544:20240117:185412.668 12: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](__zbx_mem_realloc+0x410) [0x555ec4f74d20]
1544:20240117:185412.668 11: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](zbx_hashset_reserve+0x6a) [0x555ec4fbe45a]
1544:20240117:185412.668 10: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](zbx_hashset_insert_ext+0x98) [0x555ec4fbe5d8]
1544:20240117:185412.668 9: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](DCfind_id+0xa0) [0x555ec4f12360]
1544:20240117:185412.668 8: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](DCsync_configuration+0x3632) [0x555ec4f1fab2]
1544:20240117:185412.668 7: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](dbconfig_thread+0xf2) [0x555ec4e13412]
1544:20240117:185412.668 6: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](zbx_thread_start+0x24) [0x555ec4f7b0a4]
1544:20240117:185412.668 5: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](+0x753e4) [0x555ec4e053e4]
1544:20240117:185412.668 4: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](MAIN_ZABBIX_ENTRY+0xa03) [0x555ec4e06a03]
1544:20240117:185412.668 3: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](daemon_start+0x16d) [0x555ec4f7861d]
1544:20240117:185412.668 2: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](main+0x4b7) [0x555ec4dfd9f7]
1544:20240117:185412.668 1: /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7f31af261083]
1544:20240117:185412.668 0: /usr/sbin/zabbix_server: configuration syncer [syncing configuration](_start+0x2e) [0x555ec4e04a7e]
1544:20240117:185412.668 [file:dbconfig.c,line:86] __zbx_mem_realloc(): out of memory (requested 549272 bytes)
1544:20240117:185412.668 [file:dbconfig.c,line:86] __zbx_mem_realloc(): please increase CacheSize configuration parameter
1541:20240117:185412.681 One child process died (PID:1544,exitcode/signal:1). Exiting ...
1542:20240117:185412.682 HA manager has been paused
1542:20240117:185412.687 HA manager has been stopped
1541:20240117:185412.691 Zabbix Server stopped. Zabbix 6.0.25 (revision 1706b11e866).
TNK - 投稿数: 4740
エラーメッセージ(please increase CacheSize configuration parameter)
にある通り、CacheSizeを少し増やしてみてください。
yas - 投稿数: 43
ありがとうございます、目の前に答えが書いてあったのに、見落としておりました。
指摘の通りcachesizeを増加することで無事に起動出来ました。
元々Default値より多めに設定していたのですが、それでは足りないようなのでかなり多めに設定しておき、様子を見ながら調整することにいたしました。
設定から24時間以上経過しても問題なく動作しているため、おそらくはこれで解決したと思われます。
アドバイスありがとうございました