イベント通知にて異なる値が通知される
いつもお世話になっております。
異常な動作をしていると思われるものがあり、皆様のお知恵をお借りできますでしょうか。
【環境】
Zabbix4.0.3
【症状】
Windowsイベントログで条件に一致した場合に検知するアイテムを設定(①)しており、
検知した場合に「エラー」を含めば異常として検知(②)するようにしております。
①{サーバ名:eventlog[Microsoft-Windows-TaskScheduler/Operational,,,,101]
②(上記アイテム.iregexp(".*エラー.*")}=1)
かつ「障害イベント生成モード:複数」に設定
普段はイベントログに「エラー」を含む異常が発生した場合、正常にアイテムで取得している
値が通知(③)されます。
③アクションのメッセージ欄に下記を指定
監視値 : {ITEM.VALUE}
しかし、条件は不明なのですが稀に通知される{ITEM.VALUE}の内容が、異なる値が
通知される場合があります。
これまでに現象として2度発生しているのですが、いずれも過去に発生した{ITEM.VALUE}の
内容が通知されています。(1個前の内容の場合もあれば、そうでない場合も)
「最新データ」で記録されているアイテム自体は正常な値が表示されており
「障害」の「イベントの詳細」で表示されている画面から異なった値が表示
されております。
設定の問題なのか、他の問題なのか当方では判断できず困惑しております。
どなたかお分かりになる方はいらっしゃいますでしょうか。
Yasumi - 投稿数: 372
{ITEM.VALUE}に記録される値は、トリガー発報時の値と一致するとは限りません。
アイテムの更新間隔にもよりますが、下記のようにログが記録された場合、
アイテムが取得する情報に指定をしていない場合、
{ITEM.VALUE}に「エラー」ではなく「INFO」が記録されるケースはごく普通にありえます。
===
・Microsoft-Windows-TaskScheduler/Operational
2019/03/29 13:18:17 INFO
2019/03/29 13:18:16 エラー
===
{ITEM.VALUE}の内容を制御したい場合、アイテムに取得する値に制限を設けるのが妥当かと思います。
・アイテム設定
eventlog[Microsoft-Windows-TaskScheduler/Operational,@ERROR,,,101]
・正規表現
@ERROR
エラー を含む
Nkjm - 投稿数: 50
Yasumi様
ご回答いただき有難うございます。
まず、今回のアイテム設定ではイベントID:101に絞り込んでいるため
エラーの場合のみアイテムが記録されるようにしております。
実際に問題が発生した時の前後含めたアイテムの取得状況ですが下記のようになっております。
①2019/03/26 04:21:36 CCCエラー
②2019/03/26 04:21:36 AAAエラー
③2019/03/25 13:11:13 BBBエラー ← 問題のアイテムです
④2019/03/25 08:51:51 CCCエラー
⑤2019/03/25 08:51:51 AAAエラー
この③に関する通知がCCCの内容で通知されております。
①②や④⑤においてであれば、ご指摘いただいたような事象が発生しうるかとも
思うのですが、時間的に近似値のアイテムが無いため、今回ご指摘いただきました
内容とは異なる事象かと思われるのですが。。。
それとも私の受け止め方が何か間違っておりますでしょうか。
広くご意見いただけましたら幸いです。
Yasumi - 投稿数: 372
なるほど、アイテムが正常に取得できていて、アイテム更新間隔に問題がなければ
指摘のような問題は通常は発生しないように思います。
最近4.0系で似たような質問がありましたが、もしかしたらバグの可能性も。。
ここはZabbixに問い合わせるしかなさそうです。
K-T_MT - 投稿数: 8
Nkjm様
お世話になります。
フォーラム拝見させていただきました。
本件ですが、解決できましたでしょうか?
私の環境(CentOS7/ZABBIX4.0.6)でも同様の症状が出ております。
・ログ監視(critical文字列が含んでいるもののみを監視)アイテムを作成
・トリガー:「CRITICAL」文字を検出した時に発動
・アクション:以下のメッセージをメールで通知
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
障害発生時刻:{EVENT.DATE} - {EVENT.TIME}
障害発生個所:{EVENT.NAME}
障害発生時の値:{ITEM.VALUE} <===ここが問題です。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ZABBIXのWEB画面の「最新データ」では正常に取得出来ていることを確認できているのですが、
アクション(メール通知)では最新より1つ前の値が通知されてしまいます。。。
もし、進展がございましたら、教えていただきたいです。
よろしくお願いいたします。
Nkjm - 投稿数: 50
K-T_MT様
コメント有難うございます。
本件、残念ながらその後進展がございません。
というのも事象が発生するのが、毎回ではなく過去に2回だけであり
投稿させていただいた後に発生していないため、静観している状況です。
お役に立てずに申し訳ございません。
K-T_MT - 投稿数: 8
Nkji様
ご回答を有難うございました。
本日、打つ手がない状態で、とりあえずyum update で全部更新しちゃえという荒業を実施したところ、
ZABBIX4.0.7(昨日リリース)が出てきました。リリースノートを確認したところ、それっぽいものを発見しました。
https://www.zabbix.com/rn/rn4.0.7
以下、詳細です。
https://support.zabbix.com/browse/ZBX-9229
アップデートを実施し、様子を見ている最中です。これで正常動作になってくれることを祈ります。
以上です。
情報連携でした。
================(追記 16:52)
結果:変化ありませんでした。
ヒストリ画面の「最新500個の値」は正常なのですが、「値」に表示されていないのが原因なのか。。。何なのか。。。
kz999 - 投稿数: 24
こんなにすぐ結果がわかるってことは、再現率が相当高いってことでしょうか。
Nkjiさんのように「ごく稀に」ならバグかなあとも思うのですが。
まあバグかもしれないですが、そんなに再現するのにあんまり騒ぎになってないので、
まずは設定の問題かもしれないと目星つけてもう少し詳細な情報を出していただけると
わかることもあるかもしれませんね。
keyとトリガ条件のできるだけそのままの情報を貼り付けるとか。
zabbixの監視運用実績はどのくらいで、いつ頃から事象発現したか。
突然発現しだしたなら直前に何か変更してないか。
特定機器の監視だけでなるのか。
同じホストの別ログ監視のkeyに紐づいちゃってるとか、
もしくは別アイテムの方のトリガに該当のkeyがまざっちゃってそっちにアクションが反応してるとか、
なんか変なことになってなければいよいよバグってことになるかも。