ZabbixのPollerプロセスが継続してSIGSEGVによりクラッシュすることについて
お世話になります。
件名通りですが、継続してZabbixのpollerプロセスがSIGSEGVによりクラッシュします。
1日に10回以上クラッシュすることもあれば、1回もクラッシュしないこともあります。
Zabbixや他監視対象のサーバーはAWSのEC2を使用しています。
現在、各サーバーは運用中です。
■監視内容
・死活監視
・リソース監視
・JVM監視
・ODBC監視
■ODBC監視の対象はAWSのRDSforOracleを監視してます。
・エンジン:Oracle Standard Edition Two
・バージョン:19.0.0.0.ru-2021-04.rur-2021-04.r1
■Zabbixサーバー(EC2)
・OS:Amazon Linux 2
・zabbix_server 5.0.14
・MariaDB 10.5.10
・oracle-instantclient19.11
■大まかな時系列
・2021/7月下旬:構築
・2021/9月中旬:Zabbixサーバーのメモリ増設(4GB→8GB)
・2021/12月下旬:pollerがクラッシュした後、Zabbixが立ち上がらなかったため現象が発覚。
ログを追ってもいつからクラッシュしていたか分かりませんでした。
・現在
■クラッシュ時のログの内容
ログファイルを添付します。2回分のクラッシュを抜粋してます。
対応としてStartPollersの値を増やしたり、mariadbのinnodb_buffer_pool_sizeの値を
増やしたりしてみましたが特に効果はありませんでした。
クラッシュ後、Zabbixが立ち上がらないこともあり困ってます。
何か原因等ご存知でしたら教えていただけますでしょうか?
OGR - 投稿数: 4
ログが保存できてませんでしたので、こちらで添付します。
TNK - 投稿数: 4740
明確な問題発生原因が特定できるようなログは出力されていないよ
うですが、考えられる可能性があるとしたら以下のものが挙げられ
ると思います。
・Zabbixのバージョンが古い
・Amazon Linux 2用以外のパッケージを使用している
5.0であれば、5.0.19までリリースされています。
様々な不具合が修正されているので、バージョンアップすることを
お勧めします。
Amazon Linux 2は、RHEL 7の完全互換のOSではなく、独自にアップ
デートされたソフトウェアやライブラリを使用していたと思います。
その環境にRHEL 7用のパッケージを使用していたりしませんか?
同等の環境を別途用意して、Zabbixのバージョンを上げ、Amazon
Linux 2用のパッケージを使用して再現するか確認してみてくださ
い。
まずは、Zabbixのバージョンアップだけでも試す価値はあると思い
ます。
OGR - 投稿数: 4
使用しているパッケージは以下の通りです。その他もAmazon Linux 2用のものを使用しています。
・zabbix_server:5.0.14-1.amzn2
バージョンアップについては、repo.zabbix.comでAmazon Linux 2用の
パッケージが無かったので、正直なところ見て見ぬふりをしてました。
構築時はGithubで公開されているスクリプトで自動作成しましたが、
そこで使用しているインストール用リポジトリでは現状、5.0.14までしか無いようです。
もう少し探してみることにします。
見つからなければ、検証用にOS変えたサーバーを作成してテストしてみようと思います。
ご返信いただきありがとうございました。
TNK - 投稿数: 4740
一般には、公式のAmazon Linux 2用のパッケージは公開されていま
せん。
amzn2というパッケージ名になっているということは、恐らくAmazon
Linux 2上でビルドしたものである可能性が高いとは思われますが、
実際にどのようにビルドしたものであるのかがわからないので、
独自にビルドしたのであれば、そのビルドの方法に問題があったの
かもしれません。
サポート契約を行えば、Amazon Linux 2用のパッケージの提供もあ
るようです。
一例:
https://enterprise.zabbix.co.jp/update/15522
具体的にどこに公開されているものなのでしょうか?
OGR - 投稿数: 4
こちらで公開されています。
https://github.com/qryuu/aws_on_zabbix/blob/master/UserData/Launch-Zabbi...
リポジトリの設定は23行目付近にございます。
現在は定期的に再起動を仕込むことで、クラッシュはするがクラッシュ後Zabbixが
立ち上がらないという事象はなぜか解消されてます。
根本的な解決ではないので、アドバイスいただいた通りバージョンアップ検証(必要ならOS変えて)を
機会を見て行おうとは考えています。