IPMIリモートコマンドを利用してのサーバのON/OFF 設定について

はじめまして。
IPMIリモートコマンドの設定において,
うまく動作させる事ができないため質問させて頂きます。

特定の障害を検知した際に
アクションでIPMIリモートコマンドを利用して
該当機器の再起動を行いたいと考えておりますが、
現在power on/offさせる事ができません。

zabbix serverから下記コマンドを利用し
対象サーバのPower on/offは成功しております。
ipmitool -I lanplus -H ipaddress -U user power on
ipmitool -I lanplus -H ipaddress -U user power off

また、IPMIセンサーを利用したアイテムを作成し、
監視対象のサーバから値を取得する事はできている状態です。

現象の詳細を下記に示します。

■現象
該当ホストがunreachableを検知した際、
アクションのコマンドステータス :送信済み となるが
該当ホストのiLo にアクセスしのステータスを確認すると 
Server Power :OFF のまま

zabbix_server.log
14474:20110708:134921.713 Zabbix Host [hostname]: first network error, wait for 15 seconds
14472:20110708:134922.981 Zabbix Host [hostname]: another network error, wait for 15 seconds
14473:20110708:134923.185 Zabbix Host [hostname]: another network error, wait for 15 seconds
14475:20110708:134941.330 Zabbix Host [hostname]: another network error, wait for 15 seconds
14475:20110708:134959.369 Zabbix Host [hostname]: another network error, wait for 15 seconds
14475:20110708:135017.649 Disabling Zabbix host [hostname]

■Zabbixサーバ
 OS: CentOS 5.6 x86_64
 Zabbixのバージョン: 1.8.5
 
■監視対象サーバ
 HP DL360 G7(iLO3搭載)
  ※ iLO用のIP、ポート(623)、ユーザ等は設定済み
 
■Zabbix上のIPMI関連設定
 zabbix_server.conf:
  StartIPMIPollers=1

 ホスト:
  IPMIを使用  =チェックあり
  IPMI IPアドレス= iLOに設定したIPアドレス
  IPMIポート = iLOに設定したポート(623)
  認証 =RMCP+
  特権レベル =Admin
  IPMIユーザ名 =iLOに設定したユーザ
  IPMIパスワード =iLOに設定したパスワード

 アクション:
  対象ホストがunreachnableとなった際に
  リモートでコマンド実行
    {HOSTNAME}:IPMI power on
  アクションのコンディション
    トリガー = "Server {HOSTNAME} is unreachable"

マニュアル、本フォーラム、及びzabbix.com forumsを検索してみましたが
該当する内容を見つけ出せませんでした。
 
設定間違い、確認すべき点等お気づきの点がございましたら
ご教授頂けませんでしょうか。

よろしくお願い致します。

コメント表示オプション

お好みのコメント表示方法を選び「設定の保存」をクリックすると変更が反映されます。
ユーザー TNK の写真

  リモートでコマンド実行
    {HOSTNAME}:IPMI power on

こちらの「IPMI power on」の設定は具体的にどのような内容に
なってますでしょうか?

ユーザー numa82 の写真

返信ありがとうございます。
また返答が遅くなり申し訳ございません。

IPMI Power onの設定は
アクション>アクションの設定>オペレーションの編集で

オペレーションタイプ :リモートコマンド
リモートコマンド のテキストボックスの中に下記を記入してあるのみです。
 {HOSTNAME}:IPMI power on

蛇足かもしれませんが,
マニュアルには<host>:IPMI <ipmi contorol> <value>ともありましたので
起動させたいホスト名をZabbix上でTEST01とした場合
テキストボックスの内容を下記のように設定してみました。
しかしながら結果は変わらずうまくいきませんでした。
TEST01:IPMI power on

設定方法の理解自体が誤っておりますでしょうか?
よろしくお願い致します。

ユーザー TNK の写真

失礼致しました。
IPMIのコマンドを直接たたこうとされているということですね。

ホストにIPMI関連の情報を登録されているようですので、実行でき
ると思うのですが、もしかしたらIPMIの認証関連で何らかの問題が
発生してしまっているのかもしれません。

例えば、IPMIでの値取得は可能な状態でしょうか?

# IPMIをすぐに試せるHWが欲しい。 orz

ユーザー numa82 の写真

返答ありがとうございます。

IPMIでの値取得可能かどうかというご指摘は
アイテムからIPMIエージェントを利用しての値取得が可能か
というという事でしょうか?

例えば、下記のようにアイテムからIPMIエージェントを利用した際は
tmp等の値取得はできています。
アイテムの設定
 タイプ   :IPMIエージェント
 IPMIセンサー:Temp 1
キー    :Temp

また、管理>スクリプトで下記のようにコマンドを設定すると利用する事は可能です。
/usr/bin/ipmitool -I lanplus -H <ipaddress> -U <username> -P <password> power off

管理>スクリプト>スクリプト作成で下記を作成した場合は
やはりアクション同様実行されません。
コマンド: {HOSTNAME}:IPMI power on

以上、質問頂いた内容の回答になりますでしょうか?
よろしくお願い致します。

ユーザー kodai の写真

Zabbixサーバのログには関連するログは何も出力されていないと思っていて良いでしょうか?

zabbix_server.confのDebugLevelを4に設定して、デバッグログを出力してみると何か分かるかもしれません。

ユーザー numa82 の写真

ご助言ありがとうございます。

debug level=3の際は、特に出力されませんでした。
下記debug level4 に設定し確認させて頂きました。

ログが多く出力されるようになり、確認したところ
下記の行が気になりました。
In init_ipmi_host() host:'[*****]:623'

IPMIコマンド の実行時のログに上記のような行がありますが
****のところの値が,ホスト作成時に
”IPMI IPアドレス”で設定した値ではなく
”IP アドレス”で設定した値になっております。

IPMIセンサー を利用してtempの値を取得しているログを確認した際、
同じような行が出力されましたが、
その場合'IPMI IPアドレス’ で設定した値が*****に記載されておりました。

これはどこか設定を間違えているのでしょうか?

少し長くなってしまいますが、
下記に実行時のログを記載致します。

26609:20110721:160613.208 In substitute_simple_macros() data:NULL
26609:20110721:160613.208 In substitute_simple_macros() data:'{HOSTNAME}:IPMI power on'
26609:20110721:160613.208 In DBget_trigger_value()
26609:20110721:160613.208 In trigger_get_N_functionid() expression:'{14249}=2' N_functionid:1
26609:20110721:160613.208 trigger_get_N_functionid() functionid:14249
26609:20110721:160613.208 End of trigger_get_N_functionid():SUCCEED
26609:20110721:160613.208 Query [txnlev:1] [select h.hostid,h.host,h.useip,h.ip,h.dns,h.proxy_hostid,i.description,i.key_ from hosts h,items i,functions f where h.hostid=i.hostid and i.itemid=f.itemid and f.functionid=14249]
26609:20110721:160613.208 End of DBget_trigger_value():SUCCEED
26609:20110721:160613.208 End substitute_simple_macros() data:'TEST:IPMI power on'
26609:20110721:160613.208 In add_command_alert()
26609:20110721:160613.208 In DCget_nextid() table:'alerts' num:1
26609:20110721:160613.208 End of DCget_nextid() table:'alerts' [1941:1941]
26609:20110721:160613.208 Query [txnlev:1] [insert into alerts (alertid,actionid,eventid,clock,message,status,alerttype,esc_step) values (1941,10,161589,1311231973,'TEST:IPMI power on',1,1,0)]
26609:20110721:160613.208 In run_commands()
26609:20110721:160613.208 In get_next_command(command_list:TEST:IPMI power on)
26609:20110721:160613.208 End get_next_command(alias:TEST,is_group:0,command:IPMI power on)
26609:20110721:160613.208 In run_remote_command(hostname:TEST,command:IPMI power on)
26609:20110721:160613.208 Query [txnlev:1] [select hostid,host,useip,ip,dns,port,useipmi,ipmi_ip,ipmi_port,ipmi_authtype,ipmi_privilege,ipmi_username,ipmi_password from hosts where status in (0) and host='TEST' and hostid between 000000000000000 and 099999999999999]
26609:20110721:160613.209 In parse_ipmi_command(IPMI power on)
26609:20110721:160613.209 In set_ipmi_control_value(control:power, value:1)
26609:20110721:160613.209 In init_ipmi_host() host:'[192.168.200.2]:623'
26609:20110721:160613.209 In get_ipmi_host() host:'[192.168.200.2]:623'
26609:20110721:160613.209 End of get_ipmi_host():0x12637a00

値が取得できているIPセンサーを用いてのログも
参考のため下記に示します。
26611:20110721:155955.289 In get_values()
26611:20110721:155955.289 In DCinit_nextchecks()
26611:20110721:155955.289 In DCconfig_get_poller_items() poller_type:2
26611:20110721:155955.289 End of DCconfig_get_poller_items():1
26611:20110721:155955.289 In substitute_simple_macros() data:'Temp'
26611:20110721:155955.289 In substitute_simple_macros() data:'192.168.200.3'
26611:20110721:155955.289 In get_value() key:'Temp'
26611:20110721:155955.290 In get_value_ipmi() key:'TEST:Temp'
26611:20110721:155955.290 In init_ipmi_host() host:'[192.168.200.3]:623'
26611:20110721:155955.290 In get_ipmi_host() host:'[192.168.200.3]:623'
26611:20110721:155955.290 End of get_ipmi_host():0x12637950
26611:20110721:155955.290 End of init_ipmi_host():0x12637950'
26611:20110721:155955.290 In get_ipmi_sensor_by_name() sensor:'Temp 1@[192.168.200.3]:623'
26611:20110721:155955.290 End of get_ipmi_sensor_by_name():0x1269d340
26611:20110721:155955.290 In read_ipmi_sensor() sensor:'Temp 1@[192.168.200.3]:623'
26578:20110721:155955.337 Get value from agent result: '0'
26578:20110721:155955.337 End of get_value():SUCCEED

こちらに記載するにあたって
下記のようにホスト名、IPアドレス等については
値を置き換えさせて頂きました。
host name :TEST
IP address:192.168.200.2
IPMI IP address:192.168.200.3

以上、ご指摘等頂ければ幸いです。
よろしくお願い致します。

ユーザー TNK の写真

頂いたログをもとに1.8.5のソースを確認してみました。

そうすると、set_ipmi_control_value()という関数の中で、利用す
るIPを指定するところに問題がありそうです。

具体的には、src/zabbix_server/poller/checks_ipmi.cの1098行目
で以下のような記述があります。
<code>
h = init_ipmi_host(item->host.useip ? item->host.ip : item->host.dns, item->host.ipmi_port,
item->host.ipmi_authtype, item->host.ipmi_privilege, item->host.ipmi_username, item->host.ipmi_password);
</code>
これでは、「IPMI IPアドレス」ではなく、ホスト自体のIPアドレ
スもしくはホスト名を指定している状態です。

恐らくこれを以下のように直すことで、「IPMI IPアドレス」を指
定して呼び出しできるようになると思われます。
<code>
h = init_ipmi_host(item->host.ipmi_ip, item->host.ipmi_port, item->host.ipmi_authtype,
item->host.ipmi_privilege, item->host.ipmi_username, item->host.ipmi_password);
</code>

つまり、バグの可能性が考えられます。
いかがでしょう?>他の方々

ユーザー numa82 の写真

お忙しい中、確認頂きありがとうございます。

ご指摘頂いた部分について、
相談の上変更し、試してみたいと思います。

バグの可能性もあるかもしれないとの事なので
確認出来次第、また改めて結果を報告させて頂きます。

よろしくお願い致します。

ユーザー kodai の写真

私も見てみました。バグっぽく見えますね。

いま手元にIPMIを使える環境がないので、可能でしたら結果を教えていただけると助かります。

ユーザー numa82 の写真

お世話になっております。

上記現象が発生していたzabbix serverは
運用上すぐに変更を加える事が難しいかったため、
同ネットワーク上に指示頂いた変更を加えたzabbixを
インストールしたサーバを用意し、検証を行いました。

結果として、うまくいきませんでした。
IPMI 関連の設定は"ホストの設定"で、設定されていますが、
ログを確認したところ下記のような形”IPMI IP”が入ると
思われる箇所がnullになってしまっています。

7885:20110726:144435.869 In get_ipmi_host() host:'[(null)]:623'

また新たな現象として、なぜかアクションで設定した
リモートIPMIコマンドが実行されたタイミングで
ログを吐き出しzabbix serverが落ちてしまいます。
その後、再起動を行っても、なぜかIPMIを設定しているホストを削除するまで
zabbix serverが頻繁に落ちてしまいます。

ソースからのインストールが初めてのため
設定が誤っている箇所もあるかもしれませんが
現在運用しているサーバでできる作業は
ほぼこの検証環境でも実現できています。

下記検証の際のログを一部示します。
7885:20110726:144435.866 In execute_operations()
7885:20110726:144435.866 Query [txnlev:1] [select operationid,operationtype,object,objectid,default_msg,shortdata,longdata,esc_period,evaltype from operations where actionid=4 and operationtype in (0,1)]
7885:20110726:144435.866 In check_operation_conditions(): operationid [19]
7885:20110726:144435.866 Query [txnlev:1] [select conditiontype,operator,value from opconditions where operationid=19 order by conditiontype]
7885:20110726:144435.867 End of check_operation_conditions():SUCCEED
7885:20110726:144435.867 Conditions match our event. Execute operation.
7885:20110726:144435.867 In substitute_simple_macros() data:NULL
7885:20110726:144435.867 In substitute_simple_macros() data:'{HOSTNAME}:IPMI power on'
7885:20110726:144435.867 In DBget_trigger_value()
7885:20110726:144435.867 In trigger_get_N_functionid() expression:'{12167}=2' N_functionid:1
7885:20110726:144435.867 trigger_get_N_functionid() functionid:12167
7885:20110726:144435.867 End of trigger_get_N_functionid():SUCCEED
7885:20110726:144435.867 Query [txnlev:1] [select h.hostid,h.host,h.useip,h.ip,h.dns,h.proxy_hostid,i.description,i.key_ from hosts h,items i,functions f where h.hostid=i.hostid and i.itemid=f.itemid and f.functionid
=12167]
7885:20110726:144435.867 End of DBget_trigger_value():SUCCEED
7885:20110726:144435.867 End substitute_simple_macros() data:'TEST:IPMI power on'
7885:20110726:144435.867 In add_command_alert()
7885:20110726:144435.867 In DCget_nextid() table:'alerts' num:1
7885:20110726:144435.867 End of DCget_nextid() table:'alerts' [10:10]
7885:20110726:144435.867 Query [txnlev:1] [insert into alerts (alertid,actionid,eventid,clock,message,status,alerttype,esc_step) values (10,4,3667,1311659075,'TEST:IPMI power on',1,1,0)]
7885:20110726:144435.868 In run_commands()
7885:20110726:144435.868 In get_next_command(command_list:TEST:IPMI power on)
7885:20110726:144435.868 End get_next_command(alias:TEST,is_group:0,command:IPMI power on)
7885:20110726:144435.868 In run_remote_command(hostname:TEST,command:IPMI power on)
7885:20110726:144435.868 Query [txnlev:1] [select hostid,host,useip,ip,dns,port,useipmi,ipmi_ip,ipmi_port,ipmi_authtype,ipmi_privilege,ipmi_username,ipmi_password from hosts where status in (0) and host='TEST' a
nd hostid between 000000000000000 and 099999999999999]
7885:20110726:144435.868 In parse_ipmi_command(IPMI power on)
7885:20110726:144435.869 In set_ipmi_control_value(control:power, value:1)
7885:20110726:144435.869 In init_ipmi_host() host:'[(null)]:623'
7885:20110726:144435.869 In get_ipmi_host() host:'[(null)]:623'
7885:20110726:144435.869 End of get_ipmi_host():(nil)
7885:20110726:144435.869 In allocate_ipmi_host() host:'[(null)]:623'
7885:20110726:144435.869 Got signal [signal:11(SIGSEGV),reason:1,refaddr:(nil)]. Crashing ...
7885:20110726:144435.869 ====== Fatal information: ======
7885:20110726:144435.869 Program counter: 0x7f5ba5c98052
(省略)
7862:20110726:144437.945 In free_selfmon_collector() collector:0x7f5b9ffb3000
7862:20110726:144437.945 End of free_selfmon_collector()
7862:20110726:144437.945 Zabbix Server stopped. Zabbix 1.8.5 (revision 19050).

省略部分のlogも必要な際、
もしくは何か試した方が良い事がありましたら
ご指示頂けますでしょうか

よろしくお願い致します。

ユーザー TNK の写真

IPMI IPをDBからきちんと取得していないようですね。
DBから他の情報を取得するところにも手を入れる必要が
ありそうです。

調べてみます。

===== 追記 =====
影響範囲を十分に確認できていませんが、「host.ipmi_ip」の代わ
りに「host.ipmi_ip_orig」を指定すればいけるかもしれません。
<code>
h = init_ipmi_host(item->host.ipmi_ip_orig, item->host.ipmi_port, item->host.ipmi_authtype,
item->host.ipmi_privilege, item->host.ipmi_username, item->host.ipmi_password);
</code>

ユーザー numa82 の写真

調査頂き、ありがとうございます。

上記変更を試してみましたので、挙動を報告させて頂きます。

上記変更してインストールし直してみましたが
前回と挙動は変わらず、nullのままでした。

ユーザー numa82 の写真

お世話になっております。

上記で一度logを記載させて頂きましたが
host.ipmi_ip_origへの変更がうまくできていなかったようで
再度インストールをやり直したところ、
下記のようにログがでるようになりました。

2774:20110729:103714.094 In init_ipmi_host() host:'[192.168]:623'

詳細
2774:20110729:103714.094 In run_remote_command(hostname:TEST,command:IPMI power on)
2774:20110729:103714.094 Query [txnlev:1] [select hostid,host,useip,ip,dns,port,useipmi,ipmi_ip,ipmi_port,ipmi
_authtype,ipmi_privilege,ipmi_username,ipmi_password from hosts where status in (0) and host='TEST' and hostid between 000000000000000 and 099999999999999]
2774:20110729:103714.094 In parse_ipmi_command(IPMI power on)
2774:20110729:103714.094 In set_ipmi_control_value(control:power, value:1)
2774:20110729:103714.094 In init_ipmi_host() host:'[192.168]:623'
2774:20110729:103714.094 In get_ipmi_host() host:'[192.168]:623'
2774:20110729:103714.095 End of get_ipmi_host():(nil)
2774:20110729:103714.095 In allocate_ipmi_host() host:'[192.168]:623'
2774:20110729:103714.095 End of allocate_ipmi_host():0x15cd210

何度も申し訳ございません。
よろしくお願い致します。

ユーザー TNK の写真

申し訳ありません。

付け焼刃的な対応だけではなく、もっと根本的な対応が必要
そうですね。
テストで利用できるIPMIのデバイスが無いのできちんと確認
できないかもしれませんが、こちらでも何とか環境を作成して
確認してみます。

ユーザー numa82 の写真

お世話になっております。

蛇足な情報ではございますが、
check_ipmi.cをdiffを行ってみたところ変更点がいくつかあったので、
1.8.6をソースからインストールし、IPMIリモートコマンドを試してみました。
状況は変わらず、1.8.5のときと同じ状況でした。

何かこちらで試せる事がありましたら、
またお知らせ頂けませんでしょうか。

よろしくお願い致します。

ユーザー kodai の写真

念のため、利用されているIPMIのバージョンを教えていただけますか?
rpm -qa |grep OpenIPMIの結果を頂ければと思います。

ユーザー numa82 の写真

現在インストールしているOpenIPMIのバージョンは
下記の通りになります。

OpenIPMI.x86_64 2.0.16-11.el5
OpenIPMI-devel.x86_64 2.0.16-11.el5
OpenIPMI-libs.x86_64 2.0.16-11.el5
OpenIPMI-tools.x86_64 2.0.16-11.el5

よろしくお願い致します。

ユーザー TNK の写真

ソースを再度確認しなおして、2箇所修正すること対応できそうな
ので、以下の修正をしてみてください。
行番号は1.8.5で確認しています。

1点目は、案としてあげていたipmi_ip_origを利用するという点で
すが、src/zabbix_server/poller/checks_ipmi.cの1098行あたりの
<code>
h = init_ipmi_host(item->host.useip ? item->host.ip : item->host.dns, item->host.ipmi_port,
</code>

<code>
h = init_ipmi_host(item->host.ipmi_ip_orig, item->host.ipmi_port,
</code>
に変更してください。

さらに、src/zabbix_server/operations.cの115行あたりの
<code>
zbx_strlcpy(item.host.ipmi_ip_orig, row[7], sizeof(item.host.ipmi));
</code>

<code>
zbx_strlcpy(item.host.ipmi_ip_orig, row[7], sizeof(item.host.ipmi_ip_orig));
</code>
に変更してください。

2点目の引数のコピーする文字列の長さの指定が誤っていたため、
ipmi_ip_origにIPMI IPアドレスの一部しかコピーされていなかっ
たようです。

ユーザー numa82 の写真

お忙しい中、確認ありがとうございます。
指示頂いた箇所を修正いたしました。

その結果、下記のようにログにIPMI IP addressが表示されるようになりましたが
該当サーバのPower offはされませんでした。

End of get_ipmi_host():(nil)というところが問題なのでしょうか?

log
21344:20110822:170907.330 End get_next_command(alias:TEST,is_group:0,command:IPMI power on)
21344:20110822:170907.331 In run_remote_command(hostname:TEST,command:IPMI power on)
21344:20110822:170907.331 Query [txnlev:1] [select hostid,host,useip,ip,dns,port,useipmi,ipmi_ip,ipmi_port,ipmi_authtype,ipmi_privilege,ipmi_username,ipmi_password from hosts where status in (0) and host='TEST' and hostid between 000000000000000 and 099999999999999]
21344:20110822:170907.331 In parse_ipmi_command(IPMI power on)
21344:20110822:170907.331 In set_ipmi_control_value(control:power, value:1)
21344:20110822:170907.331 In init_ipmi_host() host:'[192.168.200.3]:623'
21344:20110822:170907.331 In get_ipmi_host() host:'[192.168.200.3]:623'
21344:20110822:170907.331 End of get_ipmi_host():(nil)
21344:20110822:170907.331 In allocate_ipmi_host() host:'[192.168.200.3]:623'
21344:20110822:170907.331 End of allocate_ipmi_host():0x6c9210

確認したzabbix のバージョンは 1.8.5, 1.8.6を確認させて頂きました。
上記ログは1.8.5を確認した際のlogです。
1.8.6の場合も同様の結果を得ております。

以上よろしくお願い致します。

ユーザー TNK の写真

ご確認頂きありがとうございました。

End of get_ipmi_host():(nil)というところが問題なのでしょうか?

これは問題では無いと思われます。

get_ipmi_host()という関数を呼び出したときに、以前にipmiの呼
び出しを行った対象の機器に関する情報かをチェックして、なかっ
たら(nilであったら)、allocate_ipmi_host()という関数を呼び出
して登録するという処理の流れになっているようです。

ログとして記載して頂いたログの後ろに以下のようなログが出てい
ませんか?
<code>
19573:20110822:193912.432 In setup_done() phost:0x8fe89a0
19573:20110822:193912.432 setup_done() host:'[192.168.200.3]:623'
19573:20110822:193912.432 setup_done() err:22 'Invalid argument'
19573:20110822:193912.433 End of setup_done():NETWORK_ERROR
19573:20110822:193912.433 In domain_closed() phost:0x8fe89a0
19573:20110822:193912.433 domain_closed() host:'[192.168.200.3]:623'
19573:20110822:193912.433 End of domain_closed()
19573:20110822:193912.433 End of init_ipmi_host():0x8fe89a0'
19573:20110822:193912.433 Cannot connect to IPMI host. Error 0x16 Invalid argument
19573:20110822:193912.433 End run_remote_command(result:-3)
19573:20110822:193912.433 In get_next_command(command_list:)
19573:20110822:193912.433 Result get_next_command [EOL]
19573:20110822:193912.433 End run_commands()
</code>

呼び出す先のIPMI対応機器が用意できていないので、呼び出し先が
ある場合とは異なるかもしれません。
違うエラーになっていないか、違うエラーである場合はどのような
エラーが出力されているのかをお教え下さい。

ユーザー numa82 の写真

返答ありがとうございます。

下記指示頂いた箇所と思われるログを確認致しました。

下記の2行がエラーのように見えます。
21344:20110822:170914.525 EINF: (0.20)(s,0) sdr.c(handle_sdr_data): SDR fetch error getting sdr 0x0: c1

21344:20110822:170914.525 Control power@[192.168.200.3]:623 does not exist

また、下記のようなログが何度も現れていたのが気になるのですが
これは問題のない動きなのでしょうか。
21344:20110822:170913.521 In entity_change() phost:0x6c9210
21344:20110822:170913.521 entity_change() host:'[192.168.200.3]:623'
21344:20110822:170913.521 End of entity_change()

下記その際のログになります。
21344:20110822:170907.528 INFO: 0 ipmi_lan.c(connection_up): Connection 0 to the BMC is up
21344:20110822:170907.528 INFO: 0 ipmi_lan.c(connection_up): Connection to the BMC restored
21344:20110822:170913.520 In setup_done() phost:0x6c9210
21344:20110822:170913.520 setup_done() host:'[192.168.200.3]:623'
21344:20110822:170913.520 End of setup_done():SUCCEED
21344:20110822:170913.521 In entity_change() phost:0x6c9210
21344:20110822:170913.521 entity_change() host:'[192.168.200.3]:623'
21344:20110822:170913.521 End of entity_change()
21344:20110822:170913.521 In entity_change() phost:0x6c9210
21344:20110822:170913.521 entity_change() host:'[192.168.200.3]:623'
21344:20110822:170913.521 End of entity_change()
21344:20110822:170913.521 In entity_change() phost:0x6c9210
21344:20110822:170913.521 entity_change() host:'[192.168.200.3]:623'
21344:20110822:170913.521 End of entity_change()
21344:20110822:170913.521 In entity_change() phost:0x6c9210
21344:20110822:170913.521 entity_change() host:'[192.168.200.3]:623'
21344:20110822:170913.521 End of entity_change()
.
. (省略:In entity_changeからEnd of entity_change()の繰り返し
.
21344:20110822:170913.537 End of allocate_ipmi_sensor():0x75fde0
21344:20110822:170913.537 End of sensor_change()
21344:20110822:170914.525 EINF: (0.20)(s,0) sdr.c(handle_sdr_data): SDR fetch error getting sdr 0x0: c1
21344:20110822:170914.525 In domain_up() phost:0x6c9210
21344:20110822:170914.525 domain_up() host:'[192.168.200.3]:623'
21344:20110822:170914.525 End of domain_up()
21344:20110822:170914.525 End of init_ipmi_host():0x6c9210'
21344:20110822:170914.525 In get_ipmi_control_by_name() power@[192.168.200.3]:623
21344:20110822:170914.525 End of get_ipmi_control_by_name():(nil)
21344:20110822:170914.525 Control power@[192.168.200.3]:623 does not exist
21344:20110822:170914.525 End run_remote_command(result:-2)
21344:20110822:170914.525 In get_next_command(command_list:)
21344:20110822:170914.525 Result get_next_command [EOL]
21344:20110822:170914.525 End run_commands()

よろしくお願い致します。