Router/SMTPの起動タイミングは正しいのか?(続)
以前、Router Taskの起動の障害について紹介しました。
この問題が起こってしまった場合ですが、復帰させないといけませんし、Operatorの介在無に自動復帰できるのが理想的です。
前回紹介した障害は以下の2通りの場合でした。
1) Mail.boxが複数ある環境で一部のMail.boxのConsistency Checkが完了せず、Router Taskが自らShutdownしてRouter Task自体が稼働しない場合
2) Mail.boxが複数ある環境でMail.boxのConsistency Checkは正常に完了しているように見えるにも関わらず、複数あるMail.boxの参照Tableが正常でなく、Mail.boxが参照できない状態のままRouter Taskが稼働してしまった場合
最初のパターンの障害に関しては、前回も紹介しましたが、Event MonitorでRouter Taskの稼働状態をCheckして、"load router" Commandを実行するEvent Handlerを設定することで起動が行われます。
ただ、この時点でConsistency Checkが終わっていなかった場合は再度同じErrorになり、Consistency Checkが完了していた場合には上記の2)のパターンになることがあります(実際にそうなったCaseに遭遇しました)。
二番目のパターンの障害の場合は、Routerは既に稼働状態になっているため、Event Monitorでは検出ができませんので、Console Messageを判断して処理するEvent Handlerを作ることになります。
Event Handlerには、Built-in/Addin TaskのEventとして"Router: Can't request a specific mailbox becase DBGroups is not enabled."というMessageを拾って処理することが出来るようになっています。
この場合のActionは"load router" Commandでは復帰することができません。
Routerは既に起動状態になっていますので、"restart task router"でRouterを再起動してやる必要があります。
しかし、"Router: Can't request a specific mailbox becase DBGroups is not enabled."というMessageは最低Mail.boxの数の回数分Messageが記録されることになります。
となると、このErrorが起こると、Event HandlerでMessageを監視してCommand発行すると、複数回"restart task router"が発行されてしまうことになります。
Restart中にRestart Commandが発行されるという状態になったり、Restartが完了しているにも関わらずRestartが行われてしまうことになるのですが、短時間で行われる為、実質的には数分で回復が行われます。
"Restart Task Router"が複数回実行されることで実害がある訳ではないのですが、効率的には良くないと思われます。
そこで、少し考え方を変えて、"restart task router"ではなく、"tell router quit"を発行してみることにしました。
Routerが停止すれば、上記の1)の障害で設定したEvent MonitorがRouter Taskの停止を感知して"load router" Commandを実行しRouterはre-loadされるハズです。
ということで、少しだけ稼働Testを行ってみることにしました。
Trouble状態を再現することは困難ですので、DBにAgentを作成し、Trouble時と同様のConsole MessageをConsoleに複数回PrintするCodeを書いて、疑似的にEvent Handlerに検知させるようにしてみました。
Server Consoleから、"tell amgr <db_file_path> <agent_name>"を発行し、Messageを表示させると、Event HandlerがMessageを検知し、"tell router quit"を複数回発行していることが確認できます。
"tell router quit"は、既にRouterが停止していた場合無視されますので、実害は全く無い訳です。
Event MonitorのProbeは2分程度が必要なので、2分程待つと正常にEvent MonitorでRouter Taskの非稼働が検知され、"load router" Commandが投入され、Routerがre-loadされました。
ここまでは、期待通りの動作です。
しかし、上記の障害が連続障害として起こることも考えられる訳で、連続障害の場合もTestする必要があります。
Routerが再稼働したことを確認した直後、再度Agentを実行し疑似的なError Messageを3回出力してみると、Console Messageを判断して実行するEvent Handlerは正常に稼働し、"tell router quit"が3回発行されることが確認できました。
次に、Event MonitorのTask監視がRouterの非稼働を検知して"load router"を発行してRouterが再稼働するハズなのですが、幾ら待ってもRouterが起動することはありませんでした。
Event MonitorのTask稼働監視がどのような動作になっているのかは、公開されている資料が少なく判断ができませんが、これはEvent MonitorのTask稼働監視が正常に動作しないということだと思われます。
IBMさんにこの問題を報告してみましたが、「正常に稼働する」との返事を頂きました。
本当に、こちらが報告した内容を忠実に再現されて、「正常に稼働する」と言われているのか疑問になります(いつも、こういうことでイライラさせられるのがIBMのサポートですので・・・)。
少なくとも私のWindows PCの環境と、某Linux環境で同じ現象が確認できることから、Event MonitorのTask監視は、短時間(Probe間隔内)にTask Downが起こった場合は検知出来ないのではないかと思います。
実験してみると、Event MonitorのProbe間隔の2分以内に同じことが起こると検知が出来なくなるようです。
対処方法としては、Task非稼働をOS LevelでCheckして、server -c "load router"を発行するか、Event HandlerでのRouterの停止を遅延するしかないのではないかと思います。
例えば、Domino Program Directoryに"stoprouter.bat"という名前でBatch Fileを作成し、以下のように記述します。
@echo off
timeout 120 > nul
nserver -c "tell router quit" > nul
Event Handlerの設定は、Domino Console Commandではなく、Programの実行にして、Program名に"stoprouter.bat"を指定してやります。
これで、2分間待機してから"tell router quit"が発行されるようになり、確実にEvent MonitorがRouter Taskの停止を感知して"load router"を発行することが確認できました。
実際には、nserver -cでDomino Server Commandを送る際に、Messageを複数検知して連続実行されるとErrorが起こりますので、もう少し改善して、"tell router quit"の発行を1回にするようにしないと実用には耐えませんが、2分待機させると問題が解消されることだけは確認できました。
DialogboxはLotusScriptでClose出来ないのか? -3-
<話題の履歴>
DialogboxはLotusScriptでClose出来ないのか? -1-
DialogboxはLotusScriptでClose出来ないのか? -2-
前回は、実験の為の設計を準備しました。
今回は、実際にこの設計を動かして検証します。
まず、一番Standardな処理方法である、@Command([FileCloseWindow])を記述したButtonを押してみます。
CloseCheck Fieldに"0"が設定されす。
ButtonのCodeの最後のDialogが表示されます。
皆さんご存知のように、@Command([FileCloseWindow])は全ての式が評価された最後に実行される遅延Commandなので、この段階ではまだ実行されていません。
次にQueryClose Eventが実行されます。
ここでも、CloseCheck Fieldの値が取れていることに注目してください。
次にOnUnload Eventが実行されますが、ここでもCloseCheck Fieldは取得できています。
最後にDialogboxのReturn Codeが返されて終了です。
OnUnload EventでCall ws.RefreshParentNoteを書いているのは、LotusScriptのButtonを押した場合だけですので、"0"が返ってきています。
当然、Dialog画面は閉じられます。
では、次にLotusScriptで記述したButtonを押してみましょう。
正常にCloseCheck Fieldの値は"1"に設定されています。
ここで、以下のErrorが出る訳です。
まあ、冷静に考えると当たり前の話しなのですが、uidoc.Closeは即座に実行されるため、既にuidocは存在しないのでErrorとなっています。
しかし、「QueryClose Eventなら、uidoc.Closeの前に動いて然るべき」という意見もあるかと思います。
これは別に試すことにしますが、LotusScriptの場合はここで終了してしまい、Dialog画面が閉じられることはありません。
ここで、再度、FileCloseWindowのButtonを押してみます。
最初と同様にCloseCheck Fieldの値が"0"に設定されたことが分かります。
しかし、uidocはLotusScriptのButtonによって消え去ったハズですが、ちゃんと設定されたように見えています。
次も同じで、以下のようになります。
さて、次に進むと、以下のErrorとなります。
OnUnload EventのLotusScriptからすると、uidocは既に無く、Objectが設定されていないというErrorになるのです。
「OK」を押すと、もう一度同じErrorが表示され、再度「OK」すると以下の画面が現れます。
この画面と同時に、無事?Dialog画面は閉じられてしまいます。
では、最後に、@Command([CloseWindow])で書いたボタンはどうでしょうか?
この@Commandは即時実行Commandでuidoc.Closeに近い動きをするハズで、私は同じErrorになると予測していました。
まず、CloseCheck Fieldが正常に設定されたことが分かります。
次に、以下の画面が出てきます。
@Command([CloseWindow])が即時実行Commandであることから、即座にCloseが実行され、QueryClose Eventが動いています。
既に、CloseCheck Fieldの値は取得できない状態になっていますが、何のErrorも出ません。
Dialogはまだ画面上では見えていますが、Dialogが閉じられる直前のQueryClose Eventの実行です。
次に、OnUnload Eventが動き以下の画面となります。
ここでも、CloseCheck Fieldの値が取れていませんので、当然Dialogは閉じられないままとなり、最後にDialogboxのButtonのCloseWindowの後に書かれた式が実行されます。
このように@Formulaを使って記述した場合とLotusScriptで記述した場合とでは、Errorなどが異なりますが、それはお互いの言語間で情報の引き渡しが出来ないだけで全く同じことが起こっていると考えるのが妥当でしょう。
Dialogboxを呼び出して、独自のButtonでDialogを制御する場合は、このようにDialogbox画面のCloseについては注意しなければならないということです。
OK/CancelのButtonを独自に記述して、OnUnloadなどで画面のCloseを制御するのにDialogbox内のFieldを利用して制御する場合は即時実行Commandを使うことは出来ないですし、LotusScriptのuidoc.Closeを使うことも出来ないということです。
今回使ったSample Codeの場合で言うと、Buttonの記述は@Formulaに統一し、OnUnload EventでClose制御とApplication上必要なCode(元の文書やその他の文書のFieldを書き換えるなど)を記述していればこのようなことは起こらない訳です。
今回は、Sample Codeを使って、Dialogboxの動きを確かめてみました。
次回は、QueryClose Eventで制御した場合を試してみます。
<続く>
Router/SMTPの起動タイミングは正しいのか?
最近、Routerが停止してMailが滞留するという障害に出会いました。
通常なら、Dominoが起動する際、RouerとSMTP Taskはほぼ同時に起動してきます。
しかし、Offline Maintenanceの為に定期的にServerをRestartしている環境で、OSのScriptなどから、Quit Commandを投げて、Dominoを停止した場合、時にはあるTaskが停止しきれずに、Defaultでは300秒(5分)に設定されているServer終了時間の限界を超えることがあります。
この際、NSDが実行され、ServerはRestartされる訳ですが、Server Restart後には、強制Shutdown時に開かれていたDBのConsistency Check処理が動きます。
Serverが最後まで握っているlog.nsfは必ず修復されることになると思いますし、SMTPが落ち切らなかった場合は、Mail.boxが開かれたままとなっているため、Mail.boxが修復の対象となりますし、Agent Managerが落ち切らなかった場合はAgentが握っていたDBが対象になります。
今回遭遇した障害は、Server Shutdown時にSMTPが正常に停止せずに、強制Restartが掛かり、Serverは立ち上がって来るものの、Routerが正常に起動しないというものでした。
現象としては、2種類のパターンがありました。
1) Mail.boxが複数ある環境で一部のMail.boxのConsistency Checkが完了せず、Router Taskが自らShutdownしてRouter Task自体が稼働しない場合
2) Mail.boxが複数ある環境でMail.boxのConsistency Checkは正常に完了しているように見えるにも関わらず、複数あるMail.boxの参照Tableが正常でなく、Mail.boxが参照できない状態のままRouter Taskが稼働してしまった場合
このような場合でも、SMTP Taskは正常に起動されているという状況です。
すると、当然ですが、SMTP TaskはInternet Mailを受信し続け、Router Taskが稼働していないため、MailはMail.boxに滞留するという状況が発生する訳です。
Server Shutdownが正常に完了せずに強制Restartされることは時には発生するかも知れませんし、Server再起動時にServer強制終了時に開いていたDBのConsistency Checkを行うのは、Serverを正常に稼働させるためには必要な処理であり、仕方ないことだと思います。
しかし、良く考えると、この起動方法は本当にMail Serverとして正しい処理なのか?と疑問になります。
Case別に考えてみましょう。
1) Consistency CheckによりRouter Taskが終了
単一のMail.boxなら仕方がないと言えるかも知れませんが、複数のMail.boxの環境の場合は、一部のMail.boxが利用可能な場合はそれだけで稼働して、後でConsistency Checkが終了したMail.boxを追加して利用するようにすべきだと思われます。
また、単純にConsistency Checkが終了していないからとRouter Taskを終了させるのではなく、10分後とかにRestartをSchduleして実行すべきだと思われます。
この場合は、DominoのEvent監視でTask監視を行い、稼働していない場合には、load routerで起動してやれば問題を回避できる可能性が高いですが、Router Taskの再起動時にConsistency Checkが終わっていない場合は再度同じErrorになる可能性もあります。
2) Mail.boxが参照できない状態でRouter Taskが起動
これは致命的な問題で、Router TaskがMail.boxを参照できないというErrorになっているにも関わらず、Router Taskが稼働してしまう訳ですから、根本的にRouter Taskの起動時のLogicを直し、Mail.boxが参照できない場合はRouter Taskは起動しないように修正すべきだと思われます。
更に、このような場合にも、Router TaskのRestartをScheduleするのがServerとしては正常な処理ではないかと思います。
この場合は、DominoのTask監視の対象ともなりませんし、統計情報を使ったMail.boxの滞留監視の対象にもなりません。
統計情報はRouter TaskがMail.boxにAccessできることが前提だからです。
Administrator Clientで見ると、滞留Mailは0であるように表示され、Router Taskは正常に稼働しているように表示されます。
全く質の悪い状況ですが、Mail.boxを直接開いて見ると滞留が確認できます。
また、両方の場合に共通ですが、Router Taskが正常でないにも関わらずSMTP Taskが正常に起動することが問題なのです。
Server起動時に、Router Taskの正常稼働を確認してからSMTP Taskが立ち上がれば、Mailが滞留するという問題は発生しない訳です。
多くの会社ではSMTP/MTA Serverは2重化されていることが多いですが、SMTP Taskが立ち上がらなければ、Back側のSMTPでMailを受信し配信されるため問題は起こりません。
勝手にSMTP Taskだけ立ち上がるため、2重化されていても、配信コストの低い本番側のSMTPにMailが配信され、SMTP Taskが受信したMailをRouterがMail DBに配信しないため、このような問題になるのです。
この問題は、Mail Serverとしてはかなり致命的な動きだと思われますので、IBMさんに早急に修正頂きたいと思います。















