ZabbixServer用DBでメモリが1時間ごとに減少する
お世話になっております。
AWS EC2のAmazonLinux上にZabbix2.4.8を導入し、DBについてはAWS RDSのMySQL5.6.21を利用した構成で監視を行っています。
現在上述のDBのメモリが1時間ごとに約20~25MBずつ使用容量が増える状態が続いています。
zabbix_server.logと突き合わしてみますとhousekeeper処理が行われた2,3分後に使用容量が増加していることは分かりました。
deletedの個数が多い・少ないに関わらず一定のメモリ利用が増えているようです。
以前からメモリ使用量が常に増加する傾向にはあったのですが、ここまで極端なものではありませんでした。
メモリの開放や他の理由のためにZabbixServerと合わせて再起動を最近実施してから極端な減り幅を見せるようになりました。
上記の点から何かご教示いただけますでしょうか。
TNK - 投稿数: 4769
再起動を行う前のメモリの使用容量とは比較されましたか？
どのくらいの規模の監視を行われているのかわかりませんが、ハウ
スキーピングの処理では、タイムスタンプで比較して古いものを削
除していたと思います。
そうすると、収集しているアイテムの数が増加していることによっ
て、それだけ比較するデータ量も増加するので、削除処理をする時
にキャッシュに該当する部分のメモリが消費されているのではあり
ませんか？
ご確認ください。
sharekoube - 投稿数: 2
ご回答いただきありがとうございます。
再起動を行う前もメモリが定期的に増加し100%近くまで到達する事象事態は起きていましたが、再起動以後に比べ増加の曲線はまだ緩やかなものでした。
監視の規模についてですが、アイテム数などについては以下の状態です。
ホスト数 119
アイテム数 275
トリガー数 132
1秒あたりの監視項目数 5.27
多くのアイテムがAWS CloudWatchとスクリプトで連携を行っているので、通常のアイテムでの負荷よりも重いものにはなっているかもしれません。
また問い合わせ時と直近のzabbix_server.logのハウスキーピング処理のログを確認しますと
[問い合わせ時]
housekeeper [deleted 0 hist/trends, 8000 items, 0 events, 0 sessions, 0 alarms, 0 audit items in 0.326263 sec, idle 1 hour(s)]
[現在]
housekeeper [deleted 31571 hist/trends, 1000 items, 0 events, 0 sessions, 0 alarms, 0 audit items in 2.328738 sec, idle 1 hour(s)]
と変化があり、メモリの減少度合いも再起動以前の緩やかなものに近づいていました。
TNK様の仰られる通り削除のタイミングが来るまでの間削除処理の際に8000アイテムを毎回持ち続けていたから減少率が高くなっていたように見受けられます。
ただ現状でもログは1000アイテムで出続けていますので、これは削除処理が間に合っていないということなのでしょうか？