logrtを使用したログファイル監視に関するご質問
いつも参考にさせていただいております。
logrtを使用したログファイルの監視で原因が分からない事象が発生しており
ご助言を頂けますと幸いです。
■環境
・Zabbbixバージョン
3.4.9(諸般の事情によりバージョンアップせず運用継続中)
・ログファイル監視のアイテムとトリガー設定
監視間隔:300秒
アイテム:logrt[{$LOG.FILE},{$LOG.MSG},,100]
トリガー:({Template-a:logrt[{$LOG.FILE},{$LOG.MSG}].regexp({$LOG.MSG})}=1 ) and ({Template-a:logrt[{$LOG.FILE},{$LOG.MSG}].nodata($LOGRT.NODATA)}=0 )
各マクロの値
$LOG.FILE : /aaa/bbb/log/^log_[0-9]{8}\.txt$
$LOG.MSG : @log_message(正規表現で設定、例:Error [文字列が含まれる])
$LOGRT.NODATA : 450秒
ログファイルはアプリケーション側でローテーションしています。
具体的には日替わりのタイミング(0:00頃)に当日の日付で新しいファイルを作成し、以降は新しいファイルに出力される設定です。
■原因不明の事象
日替わり後の当日のログファイルにAM6:00頃に出力された障害対象となる文字列を含む行が
AM6:00付近の監視タイミングでは検知されず、5時間後ぐらいに検知されて障害となった。
■運用状況
基本的に24時間365日の運用です。
ただし、事象が発生した当日はメンテナンスのため、深夜AM2:00~AM3:00まで監視対象サーバは停止しています。
メンテナンス完了後、対象サーバを起動しZabbixServer側との通信は問題ないことを確認しています。
■当方で確認内容
・ローテーションされた古いログファイルが何らかの理由で更新された場合、再読み込みが発生する可能性があると思いますが
当日のログファイル以外は更新されていませんでした。
・Zabbixのコンソール画面で最新データを確認したが、AM11:00頃の記録以前の記録がない(AM6:00頃の記録がない)ため、
アイテムとしてもデータを送信していない。
以上より、ログファイルの再読み込みが発生した可能性は低いと考えました。
・Zabbixのログの確認
ZabbixAgent及びZabbixServerのログを確認するも特段のログが出力されていませんでした。
■質問
状況から考えると、何らかの理由でサーバ停止・起動後にログファイルが読み込まれていないのではないかと考えています。
そこで質問なのですが、logrtにてローテーション後のログファイルが読み込まれない事があるのでしょうか?
読み込まれない事がある場合、原因として考えられる事はありますでしょうか?
わかりにくい内容のお問合せでしたら申し訳ございません。
何かしらの情報を頂けますと助かります。
ama - 投稿数: 76
ログの検知が遅れるという事象をまだ経験していないので解決策を提示することはできないのですが、
下記URLで似たような事象が発生した時の記事がありましたので、参考になればと思います。既に確認済みかもしれませんが。。。
■zabbix ログ検知が遅れる原因と対処
https://qiita.com/kazwata/items/5f9c9ce98cfe39a0f4e7
また、大量のログが出力されるとログの読み込みに遅延が発生するようです。
■6 Log file monitoring Using maxdelay parameter
https://www.zabbix.com/documentation/3.4/en/manual/config/items/itemtype...
発生事象の解決に役立つかはわかりませんので、ご参考まで。
thkshim0921 - 投稿数: 2
ama様
コメントありがとうございます。
また、URL情報ありがとうございます。
既に確認済みのURLではございましたが、コメント頂けましたことに感謝申し上げます。