ログ監視で最初から読み込まれてしまう。(ログローテートをしていないのに)
ログ監視について、以下の現象が発生しました。
もし原因等わかればご教授いただけないでしょうか。
【設定(アイテムのキー)】
◆logrt["/var/log/syslog[.-]*$",,,,skip]
⇒更新間隔:60秒
◆なおアイテムを"logrt"としていますが"/var/log/syslog"はログローテートしておりません。ずっと溜まりっぱなしのファイルです。
【現象】
◆1ヶ月半程運用しているが、突然"/var/log/syslog"を最初から読み込んだらしく、大量のアラートが発生した。
◆1ヶ月半程運用している中で2回のみ。別々のサーバにて発生しました。
【Version】
◆マネージャー2.2.3
◆エージェント:zabbix-2.2.6
フォーラムの過去ログを見ると、最初から読み込んでしまう事象は他にもあるようですが、
実際にログローテートをしていないのに最初から読み込んでしまう事象は今までにないと思い
投稿させていただきました。
他にも必要な情報等あればおっしゃっていただければと思います。
お手数ですがよろしくお願い致します。
KAZ - 投稿数: 1085
tomozo6さん
Zabbixサーバの2.2.3はログを頭から読み直す問題があるバージョンです。
Zabbix2.2.6以降にアップグレード願いたく。
tomozo6 - 投稿数: 31
KAZさん
ご指摘いただいた通り、Zabbixを2.2.7にアップデートさせました。
アップデート後3,4日経っておりますが、その後
問題は発生しておりません。
ご回答いただきありがとうございました。
tomozo6 - 投稿数: 31
バージョンは2.2.6以降になっているのですが
当現象が昨晩再発してしまいました。
もし原因等わかればご教授いただけないでしょうか。
(2.2.6にも同じようなバグがあるのでしょうか…)
【Version】
◆マネージャー:2.2.7-1.el6
◆エージェント:2.2.6-1.el5
【設定(アイテムのキー)】
◆logrt["/var/log/messages[.-]*$",,,,skip]
⇒更新間隔:60秒
【現象】
◆突然"/var/log/messages"を最初から読み込んだらしく、大量のアラートが発生した。
◆ログローテのタイミングではない。
◆200台程監視しているが、今回発生したのは1台のみ
大変お手数なのですがよろしくお願い致します。
KAZ - 投稿数: 1085
tomozo6さん
ログの二度読みですが…
Zbbix2.2.4以前のエージェントはログの2ど読みのバグあります。
Zbbix2.2.6はサーバ側に不具合があって2度読みすることがあります。
サーバが2.2.7、エージェントが2.2.6なら問題無いと思いますが…
ちなみに…
監視対象のログをvi等で開いて、修正せずに書き込み終了すると
サイズが変わっていないのに更新日付が変わるので
ファイルが異なると判断されログを頭から読み直します。
これはZabbix2.2.4エージェントからの仕様です。
tomozo6 - 投稿数: 31
KAZさん
ご回答いただきありがとうございます。
> サーバが2.2.7、エージェントが2.2.6なら問題無いと思いますが…
はい… 私もそう思っておりました…
> 監視対象のログをvi等で開いて、修正せずに書き込み終了すると
> サイズが変わっていないのに更新日付が変わるので
> ファイルが異なると判断されログを頭から読み直します。
ご指摘いただいたこの点について、操作ログ及び該当サーバの担当者に
確認をしたのですが、ログをvi等で開いた形跡はありませんでしたorz
なにか珍しいものを踏んでしまったかもですね…
tomozo6 - 投稿数: 31
> サーバが2.2.7、エージェントが2.2.6なら問題無いと思いますが…
この環境で再度ログ監視で最初から読み込まれてしまう現象が発生しました。
いまZabbixのリリースノートを確認し、それらしいバグがないか確認しているのですが、
もし心当たり等あるかたがいれば教えていただけないでしょうか。
よろしくお願いします。
KAZ - 投稿数: 1085
tomozo6さん
2.2.10で対応が一つ入っています。
Linuxのファイルの出力ですが、ファイルの更新日時が更新されてからファイルサイズが更新される様で
ファイル更新のコンマ何秒かの合間にZabbixが更新日時とファイルサイズを取得すると
更新日が変わっているのにファイルサイズは変わらないと言う状態になり、
2.2.4~2.2.9ではファイルが頭から読まれます。
その対応が2.2.10で入りました。(mtimeが更新されファイルサイズが変わらない場合、再度確認する様になりました。)
後、logrtですが、ファイル名の正規表現をかっちりした方が良いようです。
/var/log/hoge,logを監視する場合、logrt[/var/log/hoge,log]とするよりlogrt[/var/log/^hoge,log$]としたほうが良いようです。
例えば、/var/log/hoge,logをviで開くとswpファイルが作られそれを監視対象と思って読んでしまうと言う事象があるようです。
tomozo6 - 投稿数: 31
KAZさん
ご返信いただきありがとうございます。
ご指摘いただいたのは以下のバグフィックスの件でしょうか。
・[ZBX-9290] fixed log file reloading if its size is updated later than modification time
私もこれが原因の1つかな~と検討しておりました。
まずはAgentのバージョンを2.2.10にアップデートしようと思います。
またファイル名の正規表現についてもアドバイスいただきありがとうございました!
以上、よろしくお願い致します。
KAZ - 投稿数: 1085
tomozo6さん
そうです。
ちなみにZabbixサーバですが、VMware監視系を使っているなら2.2.9以降にバージョンアップした方が良いです。A(^^;
パフォーマンスが格段に違いますよ…