zabbix_server.logに出力される「slow query」と「Deadlock」について
お世話になっております。
zabbix server(ver6.0)3台をHA構成で利用しております。
現在、2年ほどアクティブとして稼働していたzabbix serverの
zabbix-serverサービスが不定期に再起動する事象が発生しております。
zabbix_server.logを確認したところ、下記のログが頻繁に出力されていました。
slow query: 5.983615 sec, "commit;" ※secの値はログによって異なる
また、日に数回下記のログも出力されております。
[Z3005] query failed: [1213] Deadlock found when trying to get lock; try restarting transaction [●●●]
※●●●の内容はログによって異なる(以下、例)
select unix_timestamp() from config
select ha_failover_delay,auditlog_enabled from config
commit;
update ha_node set lastaccess=unix_timestamp() where ha_nodeid='(記載省略)'
以下、補足情報です。
・スタンバイとして稼働していたもう2台のzabbix serverで上記の事象は発生していない。
・DBはmariadbを利用しており、mariadb garela clusterで冗長化している。
・上記の事象が発生しているzabbixサーバでzabbix-serverサービス、mariadbサービスの再起動、
サーバ自体の再起動を実施したが、改善しない。
・CPU、Memory、HDDの容量は不足していない。
ama - 投稿数: 76
既知の問題として下記URLに記載がありますが、該当しないでしょうか?
https://www.zabbix.com/documentation/6.0/jp/manual/installation/known_is...
===========================================================================================
MySQL/MariaDBでのデッドロックの可能性
負荷が高く、複数のLLD処理が実行されている場合、行ロック処理に関するInnoDBエラーが原因でデッドロックが発生する可能性があります。(upstream bug参照) このエラーは、MySQL 8.0.29で修正されましたが、MariaDBでは修正されていません。詳細は、ZBX-21506を参照してください。
===========================================================================================
tototo - 投稿数: 94
ご回答いただきありがとうございます。
既知の問題として報告されているんですね。
情報提供ありがとうございます。
ZBX-21506にアップされている下記のログファイルを確認しました。
zabbix_server_deadlock.log(2022年8月24日 04:06)
このファイルのDeadlockログには
[update item_discovery set(以下略)]
[delete from items where itemid in(以下略)]
[update trigger_discovery set(以下略)]
のような内容が出力されていましたが、
私が相談させていただいた、
[select unix_timestamp() from config]
[select ha_failover_delay,auditlog_enabled from config]
[update ha_node set lastaccess=unix_timestamp() where ha_nodeid='(記載省略)']
[commit;]
については出力されていませんでした。
LLDとは別の負荷がかかっているのかも知れません。
直接の解決方法になるかわかりませんが、
現在利用しているZabbixでもLLDを利用しているため、
負荷軽減の一環として、テンプレートのLLDを無効化してみました。
様子を見てみようと思います。
tototo - 投稿数: 94
お世話になっております。
上記のようにLLDを無効化する対策をしたのですが、
その後改善は見られませんでした。
他に情報をお持ちの方いらっしゃいましたら
ご教示いただけますと幸いです。
ama - 投稿数: 76
Zabbixではなく、データベースのチューニングで対策を検討してみてはいかがでしょうか?