WEBシナリオ監視のSSL connect errorについて
Zabbixのバージョン 2.2.3
OSバージョン CentOS 6.5
監視対象例
http://www.example.com/index.html
https://www.example.com/index.html
WEBシナリオを使用してhttp,https以下が同じURLの監視を行っております。
先日、httpsのURL監視をしているアラートのみが大量に送信されました。
httpのURL監視はアラート送信されませんでした。
zabbix_server.logを参照したところ下記メッセージが大量に出力しておりました。
(例)
cannot process step "online" of web scenario "https://www.example.com/index.html" on host "www.example.com": SSL connect error
対応としては、zabbix_serverのプロセスを再起動したところ、
時間はかかりましたが、次第に復旧しました。
何か原因や知見などございましたら、ご教授願います。
wakaba - 投稿数: 228
広瀬です
URL監視のステップの設定はどのようになっていますでしょうか？
単純にURL＋ステータスコードとタイムアウト値のみでしょうか？
また、実施されているURL監視の個数、監視間隔、ZabbixServer側の
StartHTTPPollersの設定値、及びインターナル監視されているならば、
HTTPPollersの利用状況がわかる様でしたらご呈示頂けないでしょうか？
ace - 投稿数: 9
広瀬様
ご連絡ありがとうございます。
下記インラインにて失礼いたします。
>URL監視のステップの設定はどのようになっていますでしょうか？
>単純にURL＋ステータスコードとタイムアウト値のみでしょうか？
→URL＋ステータスコードとタイムアウト値のみです。
>また、実施されているURL監視の個数、監視間隔、ZabbixServer側の
>StartHTTPPollersの設定値、及びインターナル監視されているならば、
>HTTPPollersの利用状況がわかる様でしたらご呈示頂けないでしょうか？
→
・URL監視の個数:350個
・監視間隔:300秒
・ZabbixServer側のStartHTTPPollersの設定値：default
・HTTPPollersの利用状況：
下記値でよろしかったでしょうか。
--------------------------
zabbix 2011 1 0 2015 ? 00:00:00 zabbix_agentd -c /etc/zabbix/zabbix_agentd.conf
zabbix 2019 2011 0 2015 ? 06:27:52 zabbix_agentd: collector [idle 1 sec]
zabbix 2020 2011 0 2015 ? 01:29:03 zabbix_agentd: listener #1 [waiting for connection]
zabbix 2021 2011 0 2015 ? 01:29:18 zabbix_agentd: listener #2 [waiting for connection]
zabbix 2022 2011 0 2015 ? 01:28:57 zabbix_agentd: listener #3 [waiting for connection]
zabbix 2023 2011 0 2015 ? 00:18:09 zabbix_agentd: active checks #1 [idle 1 sec]
zabbix 2024 2011 0 2015 ? 00:18:50 zabbix_agentd: active checks #2 [idle 1 sec]
zabbix 2025 2011 0 2015 ? 00:18:06 zabbix_agentd: active checks #3 [idle 1 sec]
zabbix 2026 2011 0 2015 ? 00:18:08 zabbix_agentd: active checks #4 [idle 1 sec]
zabbix 28818 1 0 Jan13 ? 00:00:00 zabbix_server -c /etc/zabbix/zabbix_server.conf
zabbix 28872 28818 0 Jan13 ? 00:18:32 zabbix_server: configuration syncer [synced configuration in 1.149333 sec, idle 60 sec]
zabbix 28874 28818 0 Jan13 ? 00:00:01 zabbix_server: db watchdog [synced alerts config in 0.000461 sec, idle 60 sec]
zabbix 28876 28818 0 Jan13 ? 00:08:41 zabbix_server: poller #1 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28877 28818 0 Jan13 ? 00:08:37 zabbix_server: poller #2 [got 16 values in 0.036664 sec, idle 1 sec]
zabbix 28878 28818 0 Jan13 ? 00:08:36 zabbix_server: poller #3 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28879 28818 0 Jan13 ? 00:08:34 zabbix_server: poller #4 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28880 28818 0 Jan13 ? 00:08:38 zabbix_server: poller #5 [got 12 values in 0.039282 sec, idle 1 sec]
zabbix 28881 28818 0 Jan13 ? 00:08:38 zabbix_server: poller #6 [got 7 values in 0.037539 sec, idle 1 sec]
zabbix 28882 28818 0 Jan13 ? 00:08:31 zabbix_server: poller #7 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28884 28818 0 Jan13 ? 00:08:34 zabbix_server: poller #8 [got 12 values in 0.036595 sec, getting values]
zabbix 28885 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #9 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28886 28818 0 Jan13 ? 00:08:34 zabbix_server: poller #10 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28887 28818 0 Jan13 ? 00:08:34 zabbix_server: poller #11 [got 2 values in 0.038032 sec, idle 1 sec]
zabbix 28888 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #12 [got 10 values in 1.076954 sec, idle 1 sec]
zabbix 28889 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #13 [got 7 values in 0.070533 sec, idle 1 sec]
zabbix 28890 28818 0 Jan13 ? 00:08:31 zabbix_server: poller #14 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28891 28818 0 Jan13 ? 00:08:40 zabbix_server: poller #15 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28894 28818 0 Jan13 ? 00:08:36 zabbix_server: poller #16 [got 13 values in 0.039633 sec, idle 1 sec]
zabbix 28895 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #17 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28896 28818 0 Jan13 ? 00:08:41 zabbix_server: poller #18 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28897 28818 0 Jan13 ? 00:08:41 zabbix_server: poller #19 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28898 28818 0 Jan13 ? 00:08:26 zabbix_server: poller #20 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28899 28818 0 Jan13 ? 00:08:38 zabbix_server: poller #21 [got 9 values in 0.038043 sec, idle 1 sec]
zabbix 28900 28818 0 Jan13 ? 00:08:29 zabbix_server: poller #22 [got 7 values in 0.037390 sec, idle 1 sec]
zabbix 28901 28818 0 Jan13 ? 00:08:38 zabbix_server: poller #23 [got 15 values in 0.034372 sec, idle 1 sec]
zabbix 28902 28818 0 Jan13 ? 00:08:41 zabbix_server: poller #24 [got 9 values in 0.038272 sec, idle 1 sec]
zabbix 28903 28818 0 Jan13 ? 00:08:39 zabbix_server: poller #25 [got 17 values in 0.037812 sec, idle 1 sec]
zabbix 28904 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #26 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28905 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #27 [got 17 values in 0.056327 sec, idle 1 sec]
zabbix 28906 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #28 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28908 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #29 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28909 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #30 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28910 28818 0 Jan13 ? 00:08:31 zabbix_server: poller #31 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28911 28818 0 Jan13 ? 00:08:34 zabbix_server: poller #32 [got 8 values in 0.058979 sec, idle 1 sec]
zabbix 28912 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #33 [got 17 values in 0.030996 sec, idle 1 sec]
zabbix 28913 28818 0 Jan13 ? 00:08:37 zabbix_server: poller #34 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28914 28818 0 Jan13 ? 00:08:27 zabbix_server: poller #35 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28916 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #36 [got 16 values in 0.035652 sec, idle 1 sec]
zabbix 28917 28818 0 Jan13 ? 00:08:40 zabbix_server: poller #37 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28918 28818 0 Jan13 ? 00:08:37 zabbix_server: poller #38 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28919 28818 0 Jan13 ? 00:08:38 zabbix_server: poller #39 [got 20 values in 0.038139 sec, idle 1 sec]
zabbix 28922 28818 0 Jan13 ? 00:08:26 zabbix_server: poller #40 [got 14 values in 0.032417 sec, idle 1 sec]
zabbix 28924 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #41 [got 5 values in 0.045133 sec, idle 1 sec]
zabbix 28925 28818 0 Jan13 ? 00:08:27 zabbix_server: poller #42 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28926 28818 0 Jan13 ? 00:08:35 zabbix_server: poller #43 [got 0 values in 0.000002 sec, idle 1 sec]
zabbix 28927 28818 0 Jan13 ? 00:08:38 zabbix_server: poller #44 [got 10 values in 0.047025 sec, idle 1 sec]
zabbix 28928 28818 0 Jan13 ? 00:08:33 zabbix_server: poller #45 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28929 28818 0 Jan13 ? 00:08:36 zabbix_server: poller #46 [got 19 values in 0.032535 sec, idle 1 sec]
zabbix 28930 28818 0 Jan13 ? 00:08:34 zabbix_server: poller #47 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28932 28818 0 Jan13 ? 00:08:36 zabbix_server: poller #48 [got 24 values in 0.038432 sec, idle 1 sec]
zabbix 28933 28818 0 Jan13 ? 00:08:32 zabbix_server: poller #49 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28934 28818 0 Jan13 ? 00:08:37 zabbix_server: poller #50 [got 0 values in 0.000003 sec, idle 1 sec]
zabbix 28935 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #1 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28936 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #2 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28937 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #3 [got 0 values in 0.000003 sec, idle 5 sec]
zabbix 28939 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #4 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28940 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #5 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28941 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #6 [got 0 values in 0.000003 sec, idle 5 sec]
zabbix 28942 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #7 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28943 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #8 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28944 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #9 [got 0 values in 0.000002 sec, idle 5 sec]
zabbix 28946 28818 0 Jan13 ? 00:00:03 zabbix_server: unreachable poller #10 [got 0 values in 0.000003 sec, idle 5 sec]
zabbix 28947 28818 0 Jan13 ? 00:01:48 zabbix_server: trapper #1 [processed data in 0.000954 sec, waiting for connection]
zabbix 28948 28818 0 Jan13 ? 00:02:03 zabbix_server: trapper #2 [processed data in 0.001798 sec, waiting for connection]
zabbix 28949 28818 0 Jan13 ? 00:02:02 zabbix_server: trapper #3 [processed data in 0.001837 sec, waiting for connection]
zabbix 28950 28818 0 Jan13 ? 00:02:03 zabbix_server: trapper #4 [processed data in 0.000766 sec, waiting for connection]
zabbix 28951 28818 0 Jan13 ? 00:01:48 zabbix_server: trapper #5 [processed data in 0.000749 sec, waiting for connection]
zabbix 28952 28818 0 Jan13 ? 00:09:03 zabbix_server: icmp pinger #1 [pinging hosts]
zabbix 28953 28818 0 Jan13 ? 00:00:01 zabbix_server: alerter [sent alerts: 0 success, 0 fail in 0.000585 sec, idle 30 sec]
zabbix 28955 28818 0 Jan13 ? 00:02:14 zabbix_server: housekeeper [deleted 1784502 hist/trends, 0 items, 0 events, 0 sessions, 0 alarms, 0 audit items in 801.736956 sec, idle 1 hour(s)]
zabbix 28957 28818 0 Jan13 ? 00:05:51 zabbix_server: timer #1 [processed 1344 triggers, 0 events in 0.026065 sec, 0 maint.periods in 0.000000 sec, idle 30 sec]
zabbix 28960 28818 0 Jan13 ? 00:01:50 zabbix_server: http poller #1 [got 228 values in 1152.001694 sec, getting values] ★
zabbix 28963 28818 0 Jan13 ? 00:00:00 zabbix_server: discoverer #1 [processed 0 rules in 0.000299 sec, idle 60 sec]
zabbix 28965 28818 0 Jan13 ? 00:07:08 zabbix_server: history syncer #1 [synced 147 items in 0.012202 sec, idle 5 sec]
zabbix 28967 28818 0 Jan13 ? 00:07:07 zabbix_server: history syncer #2 [synced 115 items in 0.005783 sec, idle 5 sec]
zabbix 28969 28818 0 Jan13 ? 00:07:14 zabbix_server: history syncer #3 [synced 633 items in 0.021449 sec, idle 5 sec]
zabbix 28971 28818 0 Jan13 ? 00:07:01 zabbix_server: history syncer #4 [synced 626 items in 0.024772 sec, idle 5 sec]
zabbix 28973 28818 0 Jan13 ? 00:01:33 zabbix_server: escalator [processed 0 escalations in 0.002797 sec, idle 1 sec]
zabbix 28974 28818 0 Jan13 ? 00:00:03 zabbix_server: proxy poller #1 [exchanged data with 0 proxies in 0.000002 sec, idle 5 sec]
zabbix 28975 28818 0 Jan13 ? 00:00:18 zabbix_server: self-monitoring [processed data in 0.000005 sec, idle 1 sec]
zabbix 28976 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #1 [updated 0, removed 0 VMware services in 0.000003 sec, idle 5 sec]
zabbix 28977 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #2 [updated 0, removed 0 VMware services in 0.000002 sec, idle 5 sec]
zabbix 28978 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #3 [updated 0, removed 0 VMware services in 0.000001 sec, idle 5 sec]
zabbix 28980 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #4 [updated 0, removed 0 VMware services in 0.000002 sec, idle 5 sec]
zabbix 28981 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #5 [updated 0, removed 0 VMware services in 0.000002 sec, idle 5 sec]
zabbix 28982 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #6 [updated 0, removed 0 VMware services in 0.000002 sec, idle 5 sec]
zabbix 28985 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #7 [updated 0, removed 0 VMware services in 0.000001 sec, idle 5 sec]
zabbix 28986 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #8 [updated 0, removed 0 VMware services in 0.000001 sec, idle 5 sec]
zabbix 28987 28818 0 Jan13 ? 00:00:03 zabbix_server: vmware collector #9 [updated 0, removed 0 VMware services in 0.000002 sec, idle 5 sec]
zabbix 28988 28818 0 Jan13 ? 00:00:02 zabbix_server: vmware collector #10 [updated 0, removed 0 VMware services in 0.000001 sec, idle 5 sec]
--------------------------
現在、Zabbix data gathering process busy %のグラフを参照したところ、
Zabbix busy http poller process, in %の値が100%で推移しています。
100%で上がり始めたタイミングとしては、zabbix_serverプロセスを再起動したタイミングと重なります。
以上、宜しくお願い致します。
TNK - 投稿数: 4769
StartHTTPPollersがデフォルトの設定のままでは、多数のWeb監視
の設定がされていても、1つづつ順番に処理されることになります。
平行して複数のWeb監視の処理をすることができません。
Web監視の設定の数もそれなりにあるようですので、
Zabbix busy http poller process, in %
の値が、60～70%以下位になるよう、StartHTTPPollersの数を増や
してみてください。
ace - 投稿数: 9
TNK様
ご回答ありがとうございます。
StartHTTPPollersの値を増やすことを検討します。
以上、宜しくお願い致します。
ace - 投稿数: 9
StartHTTPPollersの値を下記に変更しました。
StartHTTPPollers=1
↓
StartHTTPPollers=3
Zabbix_serverプロセスを再起動したタイミングで、
Zabbix busy http poller process, in %の値が、再び100%で張り付いてしまいました。
StartHTTPPollersの数が足りないのでしょうか。
# ps -ef|grep zabbix
zabbix 34700 34624 0 15:15 ? 00:00:00 zabbix_server: http poller #1 [got 33 values in 166.742756 sec, getting values]
zabbix 34701 34624 0 15:15 ? 00:00:00 zabbix_server: http poller #2 [got 35 values in 170.783661 sec, getting values]
zabbix 34702 34624 0 15:15 ? 00:00:00 zabbix_server: http poller #3 [got 29 values in 145.507488 sec, getting values]
以上、宜しくお願い致します。
TNK - 投稿数: 4769
Web監視の設定が、どの程度の頻度でアクセスするよう設定してい
るか次第ですが、恐らくまだまだStartHTTPPollersが足らないので
しょう。
設定されているシナリオを確認して、平行してどれだけ同時に実行
できるようにすれば良いかを確認してください。
リクエストを投げてからレスポンスを受け取るまでの時間なども考
慮することをお忘れなく。
ただし、処理が偏る場合もあるので、少し多めに設定したほうが良
いでしょう。
wakaba - 投稿数: 228
広瀬です。
私的な意見言わせてもらえれば足りないと見られます。当然環境(サーバのスペック)にも
左右されますので、上げれば良いというものでもありません。
ZabbixサーバとしてOSレベルで余裕があるなら、段階的に引き上げてみて各種値を参考
にして調整してみてください。
あくまでもZabbixのHTTP監視の話だけの世界ですが、やることは一般的なチューニング
の部類なので、要件に見合った設定にしていただければ良いと思います。
※環境次第ですから、コレ！っていう値を示せないのはご容赦ください
ace - 投稿数: 9
TNK様
広瀬様
ご回答ありがとうございました。
StartHTTPPollersが100%に張り付いた後に特に対応はしていないのですが、
値が下がりました。
現在は70％ほどで推移しているのでこれで様子を見ようと思います。
ありがとうございました。
これまでにSSL connect errorのWEB監視のみが、
できなくなるといったバグなどの事例はありますでしょうか。
以上、宜しくお願い致します。
TNK - 投稿数: 4769
古いCentOS 6のcurlのライブラリの不具合によって、TLS 1.1や
TLS 1.2のサイトにはアクセスできないようです。
使用されているのが、CentOS 6.5と3年以上前の古いバージョンの
ようですので、6.8でリリースされているバージョンまで、curlや
libcurlのパッケージを更新することで改善できるかもしれません。
ace - 投稿数: 9
TNK様
ご回答ありがとうございました。
アップデートを検討してみます。
以上、宜しくお願い致します。