ふりっぱぁです。
長文で失礼します。

Agent(active)と、log[] アイテムを用いたログの監視で、良い設定方法は無いものかと悩んでおります。

色々試した過程と、「監視で実現したいこと」をとりとめなく書かせてもらってます。
他にログ監視で悩んでる方々のヒントになれば幸いです。

・皆さんはどのようにしてログの監視を活用されていますか？
・もっと簡略な設定方法はないのか？

といったことをレス頂けると大変嬉しいです。

＜１＞
まず、一般的(と思われる)設定で試してみました。
<code>
アイテム：log[/var/log/messages]
トリガー：{HOST:log[/var/log/messages].str(ERROR)}=1
</code>
上記のような設定では「全ログが送信される」という動作になります。

今回、監視対象にしようと考えているログファイルは、常時、それなりの量が出力されるファイルなので、
監視したいエラー発生を示す行とは無関係な、些細な情報ログの行まで送信されてしまうことになり、
サーバ側の DB 資源や、agent/server 間の通信資源を無駄に浪費してしまうことになります。

できることならば、浪費を避けるために、エラーと判定すべき行だけを送れないか…と考えました。

＜２＞
また、ログがある程度の頻度で出力されていることと、エラー以外の情報も多数含んでいるため、

・エラー文字列を含む行が送られてきていても、トリガーの判定時には、それが最新行ではなくなって
　しまっていて、判定に引っかからないことがある
・トリガー判定でエラーの判定となったとしても、次の段階のトリガー評価の段階では、判定の対象が
　新たに届いた行となるため、エラーがすぐに画面から消えてしまう

といった問題が起こってしまいました

＜３＞
マニュアルを調べてみたところ、アイテム設定を以下のように変更することで、"ERROR" という文字列を
含む行が見つかった場合だけ、agent から server へ送信させることができるのがわかりました。
<code>
アイテム：log[/var/log/messages,ERROR]
トリガー：{HOST:log[/var/log/messages,ERROR].str(ERROR)}=1
</code>
１・２で起きた問題が解決されるかと思い、早速、試してみました。

DB・通信のリソース周りは最適化できたように見えるのですが、別の問題が起こりました。

上記の設定では、一度 "ERROR" を含む行が送信されてトリガーがオンになってしまうと、最新行が常に "ERROR" を
含んでいるため、トリガーがオンのまま回復せず、ダッシュボードの警告一覧から消えない状態に陥ってしまいました。

＜４＞
よく考えてみると、エラーの発生はログに記載されますが、エラーから復旧したことはログに記載されません。
そこで、３時間とか24時間とか、ある一定時間以内に "ERROR" を含む行がある場合にトリガーを有効にしておいて、
WebUI や メール発報で通知を受けたら復旧作業を実施し、一定時間が経過したら、警告表示は消す…という運用で、
トリガーの設定を色々と考えました。

トリガー側で、判定する行を制限できないか…と思い、以下のように設定を変えてみたのですが、
<code>
アイテム：log[/var/log/messages,ERROR]
トリガー：{HOST:log[/var/log/messages,ERROR].str(ERROR,86400)}=1
</code>
"ERROR" を含む行の受信から１日経過しても、トリガーが有効のまま、変化しないようです。

zabbix_server のマニュアルとソースコードを追っかけながら調査してみたところ、str(string[,sec]) というトリガー条件は、

<code>
最新の１行から指定文字列をチェックしたうえで、さらに[sec]以内に受信したデータがあれば、それらもチェック対象とする
</code>

という動作をしていることがわかりました。

＜５＞
さらにトリガー条件を突き詰めて、
「24h以内に最新の行が届いていて、なおかつ、"ERROR"を含んでいる」
という条件を思いつき、下記のように、nodata(sec) というトリガー条件を組み合わせることで、
思ったとおりの動作を得ることができました
<code>
アイテム：log[/var/log/messages,ERROR]
トリガー：({HOST:log[/var/log/messages,ERROR].nodata(86400)}=0)&({HOST:log[/var/log/messages,ERROR].str(ERROR,86400)}=1)
</code>