Zabbixサーバーを再起動したらZabbixが立ち上がらなくなった。
環境：VMware7 ゲストOS
CentOS9 Stream
Zabbix6.013
MariaDB 10.5.16-2
にてVMの割り当てメモリを増設ならびに
Zabbixのキャッシュサイズを変更する為、OSの再起動をしたころ、CentOS9のアップデートが掛かってしまい
いくつかのソフトウェアがアップデートしてしまいました。
OS再起動後、Web画面でZabbixの画面を立ち上げたところ、”正常に接続できませんでした”と表示が全くできなくなりました。
調査しところ、/var/log/zabbix/zabbix_server.log を確認したところ、errorやfailedは見つからなかったが以下が原因ではないかと
見ています。
4131:20230310:222523.462 syncing history data in progress...
4131:20230310:222523.464 syncing history data... 100.000000%
4131:20230310:222523.464 syncing history data done
1857:20230310:222524.477 syncing trend data...
1857:20230310:222527.932 syncing trend data done
2769:20230310:222528.068 HA manager has been stopped
1857:20230310:222528.072 Zabbix Server stopped. Zabbix 6.0.14 (revision 3f184b456c7).
6811:20230310:222528.082 Starting Zabbix Server. Zabbix 6.0.14 (revision 3f184b456c7).
6811:20230310:222528.083 ****** Enabled features ******
6811:20230310:222528.083 SNMP monitoring: YES
6811:20230310:222528.083 IPMI monitoring: YES
6811:20230310:222528.083 Web monitoring: YES
6811:20230310:222528.083 VMware monitoring: YES
6811:20230310:222528.083 SMTP authentication: YES
6811:20230310:222528.083 ODBC: YES
6811:20230310:222528.083 SSH support: YES
6811:20230310:222528.083 IPv6 support: YES
6811:20230310:222528.083 TLS support: YES
6811:20230310:222528.083 ******************************
6811:20230310:222528.083 using configuration file: /etc/zabbix/zabbix_server.conf
6811:20230310:222528.128 current database version (mandatory/optional): 06000000/06000018
6811:20230310:222528.128 required mandatory version: 06000000
6812:20230310:222528.131 starting HA manager
6812:20230310:222528.165 HA manager started in active mode
6811:20230310:222528.166 server #0 started [main process]
6814:20230310:222528.167 server #2 started [configuration syncer #1]
6813:20230310:222528.169 server #1 started [service manager #1]
6815:20230310:222530.021 server #3 started [alert manager #1]
6817:20230310:222530.021 server #5 started [alerter #2]
6816:20230310:222530.021 server #4 started [alerter #1]
6819:20230310:222530.022 server #7 started [preprocessing manager #1]
6820:20230310:222530.022 server #8 started [preprocessing worker #1]
6821:20230310:222530.022 server #9 started [preprocessing worker #2]
6822:20230310:222530.022 server #10 started [preprocessing worker #3]
6823:20230310:222530.022 server #11 started [lld manager #1]
6818:20230310:222530.023 server #6 started [alerter #3]
6824:20230310:222530.023 server #12 started [lld worker #1]
6825:20230310:222530.023 server #13 started [lld worker #2]
6826:20230310:222530.023 server #14 started [housekeeper #1]
6827:20230310:222530.024 server #15 started [timer #1]
6832:20230310:222530.025 server #20 started [history syncer #3]
6828:20230310:222530.025 server #16 started [http poller #1]
6829:20230310:222530.025 server #17 started [discoverer #1]
6834:20230310:222530.027 server #22 started [escalator #1]
6830:20230310:222530.029 server #18 started [history syncer #1]
6831:20230310:222530.030 server #19 started [history syncer #2]
6833:20230310:222530.030 server #21 started [history syncer #4]
6850:20230310:222530.030 server #38 started [trapper #2]
6838:20230310:222530.031 server #26 started [vmware collector #2]
6837:20230310:222530.032 server #25 started [vmware collector #1]
6839:20230310:222530.032 server #27 started [vmware collector #3]
6840:20230310:222530.032 server #28 started [vmware collector #4]
6836:20230310:222530.032 server #24 started [self-monitoring #1]
6841:20230310:222530.032 server #29 started [vmware collector #5]
6835:20230310:222530.032 server #23 started [proxy poller #1]
6842:20230310:222530.034 server #30 started [task manager #1]
6843:20230310:222530.034 server #31 started [poller #1]
6844:20230310:222530.035 server #32 started [poller #2]
6845:20230310:222530.037 server #33 started [poller #3]
6846:20230310:222530.038 server #34 started [poller #4]
6847:20230310:222530.038 server #35 started [poller #5]
6848:20230310:222530.040 server #36 started [unreachable poller #1]
6849:20230310:222530.042 server #37 started [trapper #1]
6851:20230310:222530.043 server #39 started [trapper #3]
6852:20230310:222530.045 server #40 started [trapper #4]
6853:20230310:222530.047 server #41 started [trapper #5]
6854:20230310:222530.050 server #42 started [icmp pinger #1]
6857:20230310:222530.058 server #44 started [icmp pinger #3]
6855:20230310:222530.059 server #43 started [icmp pinger #2]
6858:20230310:222530.061 server #45 started [icmp pinger #4]
6859:20230310:222530.061 server #46 started [alert syncer #1]
6860:20230310:222530.062 server #47 started [history poller #1]
6861:20230310:222530.064 server #48 started [history poller #2]
6862:20230310:222530.066 server #49 started [history poller #3]
6863:20230310:222530.067 server #50 started [history poller #4]
6864:20230310:222530.069 server #51 started [history poller #5]
6868:20230310:222530.074 server #52 started [availability manager #1]
6869:20230310:222530.079 server #53 started [trigger housekeeper #1]
6870:20230310:222530.079 server #54 started [odbc poller #1]
6851:20230310:222601.085 cannot send list of active checks to "127.0.0.1": host [kanshi-dv.pmsk.jp] not found
いつの間にか、Zabbixのバージョンも6.013から6.014に上がっている事も確認しております。
[root@kanshi-dv zabbix]# rpm -qa |grep zabbix
zabbix-agent2-plugin-postgresql-6.0.13-release1.el9.x86_64
zabbix-agent2-plugin-mongodb-6.0.13-release1.el9.x86_64
zabbix-web-6.0.14-release1.el9.noarch
zabbix-web-mysql-6.0.14-release1.el9.noarch
zabbix-web-deps-6.0.14-release1.el9.noarch
zabbix-apache-conf-6.0.14-release1.el9.noarch
zabbix-server-mysql-6.0.14-release1.el9.x86_64
zabbix-agent2-6.0.14-release1.el9.x86_64
zabbix-selinux-policy-6.0.14-release1.el9.x86_64
zabbix-web-japanese-6.0.14-release1.el9.noarch
zabbix-sql-scripts-6.0.14-release1.el9.noarch
zabbix-release-6.0-4.el9.noarch
[root@kanshi-dv zabbix]# dnf list installed | grep zabbix
zabbix-agent2.x86_64 6.0.14-release1.el9 @zabbix
zabbix-agent2-plugin-mongodb.x86_64 6.0.13-release1.el9 @zabbix
zabbix-agent2-plugin-postgresql.x86_64 6.0.13-release1.el9 @zabbix
zabbix-apache-conf.noarch 6.0.14-release1.el9 @zabbix
zabbix-release.noarch 6.0-4.el9 @zabbix
zabbix-selinux-policy.x86_64 6.0.14-release1.el9 @zabbix
zabbix-server-mysql.x86_64 6.0.14-release1.el9 @zabbix
zabbix-sql-scripts.noarch 6.0.14-release1.el9 @zabbix
zabbix-web.noarch 6.0.14-release1.el9 @zabbix
zabbix-web-deps.noarch 6.0.14-release1.el9 @zabbix
zabbix-web-japanese.noarch 6.0.14-release1.el9 @zabbix
zabbix-web-mysql.noarch 6.0.14-release1.el9 @zabbix
[root@kanshi-dv zabbix]# rpm -qa |grep maria
mariadb-connector-c-config-3.2.6-1.el9.noarch
mariadb-common-10.5.16-2.el9.x86_64
mariadb-connector-c-3.2.6-1.el9.x86_64
mariadb-errmsg-10.5.16-2.el9.x86_64
mariadb-backup-10.5.16-2.el9.x86_64
mariadb-gssapi-server-10.5.16-2.el9.x86_64
mariadb-server-utils-10.5.16-2.el9.x86_64
mariadb-server-10.5.16-2.el9.x86_64
mariadb-10.5.16-2.el9.x86_64
[root@kanshi-dv zabbix]# mysql
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 132
Server version: 10.5.16-MariaDB MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]>
こちらはデータベースの整合性が合わなくて動作ができなくなっていると思いますが
どうすれば復旧できるか見てわかる方、ご教授頂けますと大変助かります。
よろしくお願いいたします。
TNK - 投稿数: 4720
Zabbixサーバーのログが、提示頂いたログしか出力されていないの
であれば、Zabbixサーバーは起動できているはずです。
最後の行の「cannot send list of active checks」は、その行に
出力されているホストの設定がZabbixサーバーに登録されていない
というエラーで、そのホストの監視はできないかもしれませんが、
Zabbixサーバーとしては機能しているはずです。
Webインターフェースの方にもう少しエラーの原因を特定できそう
なメッセージが何か出力されていませんか？
Webサーバーやphp-fpmなどのログも確認してみてください。
hayansvm5 - 投稿数: 11
TKNさん
ご回答ありがとうございます。
「cannot send list of active checks」についてはその後に監視として指定したホストが
永遠と同じようにerrorを吐きながら記録されております。
読むことが出来ない状況かと考えられます。
item "SW_Power5548:net.if.out.errors[ifOutErrors.50]" became not supported: No Such Instance currently exists
cannot send list of active checks to "192.168.44.21": host [BK01] not found
cannot send list of active checks to "127.0.0.1": host [kanshi-dv.pmsk.jp] not found
cannot send list of active checks to "192.168.1.6": host [log1] not found
cannot send list of active checks to "192.168.44.21": host [BK01] not found
cannot send list of active checks to "127.0.0.1": host [kanshi-dv.pmsk.jp] not found
item "SW_Power5548:net.if.in.errors[ifInErrors.40]" became supported
cannot send list of active checks to "192.168.1.6": host [log1] not found
cannot send list of active checks to "192.168.44.21": host [BK01] not found
cannot send list of active checks to "127.0.0.1": host [kanshi-dv.pmsk.jp] not found
cannot send list of active checks to "192.168.1.6": host [log1] not found
item "SW_Power5548:net.if.in.errors[ifInErrors.21]" became supported
item "SW_Power5548:net.if.in.errors[ifInErrors.24]" became not supported: No Such Instance currently exists at this OID
item "SW_Powert5548:net.if.in.errors[ifInErrors.32]" became supported
item "SW_Powert5548:net.if.in.errors[ifInErrors.2]" became not supported: No Such Instance currently exists at this OID
item "SW_Power5548:net.if.in.errors[ifInErrors.50]" became supported
item "SW_Power5548:net.if.in.errors[ifInErrors.101000]" became supported
item "SW_Power5548:net.if.out.errors[ifOutErrors.49]" became not supported: No Such Instance currently exists at this OID
httpdは以下エラーが永遠と出ております。
Trying to access array offset on value of type bool in /usr/share/zabbix/include/graphs.inc.php on line 603PHP message: PHP Warning: Trying to access array offset on value of type bool in /usr/share/zabbix/include/graphs.inc.php on line 604PHP message: PHP Warning: Trying to access array offset on value of type bool in /usr/share/zabbix/include/graphs.inc.php on line 604PHP message: PHP Warning: Trying to access array offset on value of type bool in /usr/share/zabbix/include/graphs.inc.php on line 605PHP message: PHP Warning: imagettfbbox(): Could not find/open font in /usr/share/zabbix/include/graphs.inc.php on line 600PHP message: PHP Warning: Trying to access array offset on value of type bool in /usr/share/zabbix/include/graphs.inc.php on line 603PHP message: PHP Warning: Trying to access array offset on value of type bool in /usr/share/zabbix/include/graphs.inc.php on line 603PHP message: PHP Warning:
php-fpmのログは以下です。
[root@kanshi-dv php-fpm]# pwd
/var/log/php-fpm
[root@kanshi-dv php-fpm]# ll
-rw------- 1 root root 130966 3月 10 22:11 error.log
NOTICE: [pool zabbix] child 1014969 exited with code 0 after 8249.996829 seconds from start
NOTICE: [pool zabbix] child 1023984 started
NOTICE: [pool zabbix] child 1015744 exited with code 0 after 8219.727031 seconds from start
NOTICE: [pool zabbix] child 1024703 started
NOTICE: [pool zabbix] child 1017420 exited with code 0 after 7748.745801 seconds from start
NOTICE: [pool zabbix] child 1025867 started
NOTICE: [pool zabbix] child 1017433 exited with code 0 after 7737.893720 seconds from start
NOTICE: [pool zabbix] child 1025870 started
NOTICE: [pool zabbix] child 1018549 exited with code 0 after 7854.658496 seconds from start
NOTICE: [pool zabbix] child 1027115 started
NOTICE: [pool zabbix] child 1018676 exited with code 0 after 7799.891319 seconds from start
NOTICE: [pool zabbix] child 1027177 started
NOTICE: [pool zabbix] child 1018608 exited with code 0 after 7980.378488 seconds from start
今まで登録されてきたホストやアイテムが全て読み込みされていないところなので
データベースが何らか読み込まれてないような気がします。。
TNK - 投稿数: 4720
「cannot send list of active checks」が以前出ていなかったの
であれば、データベースへは接続できているようですので、データ
ベースが破損している可能性が考えられます。
あと、使用されているphp-fpmのバージョンもzabbixなどと同様に
お教えください。
hayansvm5 - 投稿数: 11
ご回答ありがとうございます。
私もデータベースが破損している可能性があると思います。
色々と登録したホストやアイテムやトリガーやらすべてcannnotとerrorいうキーワードと
読み込みておりませんので、、、。
phpのバージョンは以下です。
# rpm -qa |grep php
php-common-8.1.14-1.module_el9+260+8424407f.x86_64
php-bcmath-8.1.14-1.module_el9+260+8424407f.x86_64
php-fpm-8.1.14-1.module_el9+260+8424407f.x86_64
php-gd-8.1.14-1.module_el9+260+8424407f.x86_64
php-ldap-8.1.14-1.module_el9+260+8424407f.x86_64
php-mbstring-8.1.14-1.module_el9+260+8424407f.x86_64
php-pdo-8.1.14-1.module_el9+260+8424407f.x86_64
php-mysqlnd-8.1.14-1.module_el9+260+8424407f.x86_64
php-xml-8.1.14-1.module_el9+260+8424407f.x86_64
php-cli-8.1.14-1.module_el9+260+8424407f.x86_64
# php -v
PHP 8.1.14 (cli) (built: Jan 4 2023 17:23:14) (NTS gcc x86_64)
Copyright (c) The PHP Group
Zend Engine v4.1.14, Copyright (c) Zend Technologies
GUの方でリブートしてしまったのが失敗だったと思いますが
色々と勝手にアップデートしてしまいました。
アップデートするとZabbixは動かなくなる懸念はありますよね。。。
hayansvm5 - 投稿数: 11
追加で申し訳ございません。
当初にインストールしたPHPを調べたところ、以下になっておりました。
# dnf module install php:8.1
==================================================================================================================
パッケージ アーキテクチャー バージョン リポジトリー サイズ
==================================================================================================================
group/moduleパッケージをインストール:
php-cli x86_64 8.1.8-1.module_el9+158+97f99411 appstream 3.5 M
php-common x86_64 8.1.8-1.module_el9+158+97f99411 appstream 683 k
php-fpm x86_64 8.1.8-1.module_el9+158+97f99411 appstream 1.8 M
php-mbstring x86_64 8.1.8-1.module_el9+158+97f99411 appstream 476 k
php-xml x86_64 8.1.8-1.module_el9+158+97f99411 appstream 145 k
依存関係のインストール:
httpd-filesystem noarch 2.4.53-11.el9 appstream 15 k
nginx-filesystem noarch 1:1.22.1-2.el9 appstream 12 k
モジュールプロファイルのインストール中:
php/common
モジュールストリームの有効化中:
php 8.1
一度下記のようにPHPバージョン（8.1.8→8.1.14)が上がっている為、削除をした方が良いのでしょうか？
# dnf remove php php-*
一致した引数がありません: php
依存関係が解決しました。
========================================================================================================
パッケージ Arch バージョン リポジトリー サイズ
========================================================================================================
削除中:
php-fpm x86_64 8.1.14-1.module_el9+260+8424407f @appstream 8.2 M
依存関係パッケージの削除:
zabbix-apache-conf noarch 6.0.14-release1.el9 @zabbix 794
zabbix-web-mysql noarch 6.0.14-release1.el9 @zabbix 0
未使用の依存関係の削除:
nginx-filesystem noarch 1:1.22.1-2.el9 @appstream 0
zabbix-web-deps noarch 6.0.14-release1.el9 @zabbix 566
トランザクションの概要
========================================================================================================
削除 5 パッケージ
TNK - 投稿数: 4720
新規にZabbix 6.0.14の環境をCentOS Stream 9上に、MariaDB 10.5.16、
PHP 8.1.14など、ご提示頂いた各種パッケージと同じバージョンの環境
を構築してみましたが、正常に稼働できています。
何らかのエラーメッセージが出力されているのであれば、エラーコード
なども合わせて詳細な状況をお教えください。
hayansvm5 - 投稿数: 11
TNKさん
同じバージョンでの検証を頂きありがとうございます。
このような状態になった場合ですが、ゼロから一度Zabbix、MariaDB、PHPなど
アンインストールして再度インストールをした方が確実でしょうか？
mysqldumpでZabbixのデータベースをバックアップを事前にしといてから
リストアをするという方法が良いかなと考えております。
※Zabbixのアップデートをするイメージでしょうか？
エラーコードですが、/var/log/zabbix/zabbix_server.log 上のログから他に何か
出ていないか確認すればよろしいでしょうか？
具体的にこのようなメッセージが出ていないかもし分かればご教授下さい。
current database version (mandatory/optional): 06000000/06000018 のこの部分が引っかかりますが
関連性もあるかログを再度見てみます。
TNK - 投稿数: 4720
「current database version (mandatory/optional): 06000000/06000018」
は問題ありません。
私が新規にインストールした環境でも同じメッセージがログに出力されて
います。正しいログのメッセージです。
発生している問題の原因がわからないので、どうすべきかの判断ができま
せん。
新規インストールであれば、使用しているバージョンの組み合わせで問題
は発生していないので、各プロダクトをインストールしなおしても状況は
変わらないのではないでしょうか？
MariaDBのログなども確認してみてください。
hayansvm5 - 投稿数: 11
MariaDBのログを確認したところ
気になるログが出ておりました。
2023-03-10 17:29:03 0 [Note] Added new Master_info '' to hash table
2023-03-10 17:29:03 0 [Note] /usr/libexec/mariadbd: ready for connections.
Version: '10.5.16-MariaDB' socket: '/var/lib/mysql/mysql.sock' port: 3306 MariaDB Server
2023-03-10 17:29:06 0 [Note] InnoDB: Buffer pool(s) load completed at 230310 17:29:06
2023-03-10 17:36:11 38 [Warning] Aborted connection 38 to db: 'zabbix' user: 'zabbix' host: 'localhost' (Got an error reading communication packets)
2023-03-10 17:36:11 23 [Warning] Aborted connection 23 to db: 'zabbix' user: 'zabbix' host: 'localhost' (Got an error reading communication packets)
2023-03-10 17:36:11 39 [Warning] Aborted connection 39 to db: 'zabbix' user: 'zabbix' host: 'localhost' (Got an error reading communication packets)
・・・・
023-03-10 17:50:56 0 [Note] InnoDB: Starting shutdown...
2023-03-10 17:50:56 0 [Note] InnoDB: Dumping buffer pool(s) to /var/lib/mysql/ib_buffer_pool
2023-03-10 17:50:56 0 [Note] InnoDB: Restricted to 2016 pages due to innodb_buf_pool_dump_pct=25
2023-03-10 17:50:56 0 [Note] InnoDB: Buffer pool(s) dump completed at 230310 17:50:56
2023-03-10 17:51:06 0 [Note] InnoDB: Removed temporary tablespace data file: "ibtmp1"
2023-03-10 17:51:06 0 [Note] InnoDB: Shutdown completed; log sequence number 7248007551; transaction id 9689873
2023-03-10 17:51:06 0 [Note] /usr/libexec/mariadbd: Shutdown complete
2023-03-10 17:51:38 0 [Warning] WSREP: Failed to guess base node address. Set it explicitly via wsrep_node_address.
2023-03-10 17:51:38 0 [Warning] WSREP: Failed to guess base node address. Set it explicitly via wsrep_node_address.
2023-03-10 17:51:38 0 [Warning] WSREP: Guessing address for incoming client connections failed. Try setting wsrep_node_incoming_address explicitly.
2023-03-10 17:51:38 0 [Note] WSREP: Node addr:
2023-03-10 17:51:38 0 [Note] InnoDB: Uses event mutexes
2023-03-10 17:51:38 0 [Note] InnoDB: Compressed tables use zlib 1.2.11
2023-03-10 17:51:38 0 [Note] InnoDB: Number of pools: 1
2023-03-10 17:51:38 0 [Note] InnoDB: Using crc32 + pclmulqdq instructions
2023-03-10 17:51:38 0 [Note] InnoDB: Using Linux native AIO
なぜか、トリガーで仕掛けたアラート通知が飛んでくる状態なので
Zabbixは裏では動作している状況です。
一度、各プロダクトをインストールを実施してみます。