Zabbix3.0 ログ監視の再読み込み発生について
お世話になっております。
zabbix3.0エージェントで、Fluentdにより250MB/日程度のログメッセージが集積されるファイルを監視しています。
発生条件は絞り切れていないのですが、ログメッセージが追記されると過去に検知したログを再検知してアラートが再通知されます。（この間、zabbixエージェント再起動、ログローテーション等は行っておりません）
アイテムの設定をいくつか変更してみたのですが状況は変わりません。
こちらの原因もしくは回避方法をご存知でしたら、ご教示のほどよろしくお願い致します。
環境
ZABBIXサーバ：zabbix-server-3.0.7-1.el7.x86_64
ZABBIXクライアント：zabbix-agent-3.0.7-1.el7.x86_64
監視対象ファイル：/mon/access_8080
アラートが再通知されるアイテム設定
logrt[/mon/access_8080]
logrt[/mon/access_8080,,,skip,]
log[/mon/access_8080]
トリガー
(({LOG_template:logrt[/mon/access_8080].regexp(@Apache_accesslog_discard)})<>0 or ({LOG_template:logrt[/mon/access_8080].regexp(@Apache_accesslog_match2)})<>0)
TNK - 投稿数: 4671
fluentdで「/mon/access_8080」に対してどのように出力するよう
設定されているのかをお教えください。
higu1 - 投稿数: 6
td-agent_XXXX.confにて以下通り設定されております。
type file_with_fix_path
path /mon/access_8080
format single_value
flush_interval 1s
fripper - 投稿数: 495
アイテムの設定ではログファイル名しか設定されていない状況のため
アイテムの取得値としては全てのログ出力内容が取り込まれているかと思います
トリガーが過去のログに反応してしまう症状が出た際、アイテムの「最新500個の値」を
Web画面上での値履歴表示をご確認ください
ログ値として過去に収集した値と同じ行データが再度記録されてしまっていて、
トリガーが反応しているでしょうか？
それとも、新しいログ値だけが追加記録されているにも関わらず、
過去に反応したトリガーと同じトリガーが反応してしまっている状況でしょうか？
前者の場合には、Zabbixエージェント側のログ読込タイミングと、fluentd側のファイル更新タイミングの重複等で
１度読んだはずの部分が再読込されてしまい、誤反応につながっている可能性が考えられます
バージョン2.0.xのころには、不具合として報告されたりした事象なのですが、当時からかなり修正されており
ここ最近は聞かないのですが‥
後者の場合には、まず、トリガー側に指定されている正規表現の値・判定条件をご確認ください
追記された新しいログ行が、想定していない形で正規表現に合致してしまっていて、障害発生・障害復旧が
繰り返し発生してしまっている可能性があります
また、後者の場合のチェック２つ目として、トリガー設定の「障害イベントを継続して生成」のチェック状況を
ご提示ください
追記された新しい行が、前の行に引き続き条件に合致する場合に、障害発生→障害発生 といったトリガー状態遷移となって
繰り返しトリガーが反応してしまっている可能性が考えられます
higu1 - 投稿数: 6
回答ありがとうございます。
質問冒頭に記載させていただきました通り、再読み込みの発生条件が絞り切れておらず、常時発生しない状況です。
2週間前から、以下の様に設定変更して以来、まだ再発していないため、再発しましたらコメントいただいた点を確認したいと思います。
・アイテムの設定を以下の通り変更
log[/mon/access_8080,,,skip,]
・Fluentd側で出力している監視対象ファイルが9GBになっていたため、日次でローテートするよう変更
以上、よろしくお願い致します。