FT Index と View Index 更新
今回はDomino 6.xで変更されたMailのView Indexの更新とFT Indexの関係について見てみたいと思います。
Domino R5までは新規のMailが到着してもViewやFolderのIndexは即時に更新されているわけではありませんでした。
新規メールが到着すると、Viewの更新マークが出るのを皆さんもよくご存知だと思います。
Viewの更新というのは、Update TaskがView Indexの更新を行うわけですが、Update TaskにもQueueが存在し、Queueに入ってきたIndex Update要求を順次処理するようになっています。
また、Update TaskはFT Indexの更新処理も行っています。
Update Taskが処理するUpdate要求には、即時実行要求と遅延実行要求の2種類があり、当然即時実行が指定された物が先に実行されるようになっています。
これは、Notes.iniのUpdate_Suppression_Time=<minutes>とUpdate_Suppression_Limit=<number>で制御することができます。
つまり、Update_Suppression_Limitの数に達するとUpdate_Suppression_Timeを無視してIndex更新を実行しますが、そうでなければUpdate_Suppression_TimeまではUpdateの処理は待たされることになります。
また、即時要求であっても、Update_Idle_Time=<Value>の指定に従い、Updateは一定時間は休止するようにできています。
Domino R5まではUpdate_Idle_Time=5がDefaultとなっており、5秒毎に稼動するように出来ていますが、Domino 6.xではこれが常時稼動するように変更されましたが、Updateが常時稼動するとPerformance悪化の懸念があることから、6.0.3以降ではR5のDefaultと同様な動きをするようになっています。
また、頻繁にView Index更新が必要な場合はUpdaters=<number of update tasks>でTaskの数を指定できるのも皆さんご存知の通りです。
更にUpdate Queueの最大数を変更するパラメーター(Update_Queue_Entry_Max=<Value>)も用意されています。
Domino 6.x以降では、Domino DirectoryのView Index更新は認証やMailの宛先判断など様々なところに使われますので、Index Update遅延を最小化するために別のProcessとして実行されるようになっています。
つまり、IndexをUpdateするTaskはIndexer(Update)とDirectory Indexerが存在するのです。
Server Consoleから"Show Tasks"を実行頂くと、両方が動いていることが分かります。
前置きが少し長くなってしまいましたが、Domino 6.xでは、新規にMailが到着するとRouter TaskがMail DBにMailを配信すると同時にUpdateの即時要求を発行するようになったのです。
つまり、Mailが到着すると直ぐにMail DBのInbox FolderやViewの更新が行われるようになったというのがDomino 6.x以降の変更点となります。
Domino 6.xの初期の頃はこの要求の生成に少し問題がありました。
Index更新要求はQueueに要求が格納される際に同じDBに対する要求がQueueに残っていた場合は重複要求となり意味がありません。
R5までは、重複要求にならないように判断していたのですが、Domino 6.xの初期では要求に時間を付けていたために別の要求として判断され、Queueにたくさんの要求が溜まってしまうという状態になったのです。
これでは、Upateが処理する要求数が多くなり、処理が間に合わない場合が発生します。
最悪の場合、Queueが溢れてしまうといった事態も発生します。
この問題は、最新のDomino 6.5.4/6.0.5では解消されています。
しかしながら、Mailが到着するとMail DBのIndexの即時更新を要求するというDomino 6.xの基本動作は残っています。
つまり、Domino R5からDomino 6.xに移行しただけでUpdate Taskが処理する量というのは随分異なってくるのです。
では、このMail Serverと同じServer上にFT Index(全文索引)を使って処理するようなApplication DBが稼動していたとしましょう。
元々、FT Indexというのは即時に更新されることが保障された物ではありませんので、Transaction処理としてFT IndexをFT Searchして処理するような事は行うべきではありませんが、世の中のPackageやApplicationではそのような処理を行っている物も皆無ではありません。
このようなApplicationはR5ではある程度うまく動いていて欠陥が表面化することは無かったかも知れませんが、Domino 6.xに移行したとたんに欠陥が表面化するのです。
最初に書いたようにUpdateはView/Folder IndexだけでなくFT Indexの更新も行っています。
このFT Indexの更新要求は、Mail DBのView/Folder Indexの即時Update要求と同じUpdate Taskが行うわけですから、Mailが多く到着する環境ではかなりUpdateまで待たされることになる訳です。
Newsletterなどを全社員向けに送ったりするような環境では、膨大なMailが発生します。
そのような多くのMailが到着する環境ではFT Indexの更新は後回しにされてしまい、更新が遅れてしまうのです。
この現象によりApplicationが正常に動作しなくなったというお客様にも私は遭遇したことがあります。
しかし、皆さんに覚えていただきたいのは、FT Indexの更新は即時更新を約束された物ではないということです。
即時更新を期待してApplicationを作りこむこと自体が間違っているのです。
IBM社内のMail ServerもDomino 6.xですが、IBMでもMail DBにFT Indexを作成しても更新は必ず遅れています。
Mailが集中する時間帯であれば、DB PropertyからFT Indexの更新を行ってもUpdate Queueが一杯というError Messageで更新要求さえ入れられない時もあるのです。
こういうことを、理解して移行しないと大変な目に会う場合があるのです。
最近ではServer ConsolidationなどでBlade ServerやUnix ServerにServer集中してしまうこともあるでしょう。
しかし、Mail ServerとApplication Serverは、これまでも分けて運用してきたお客様が多いことと思います。
Server Consolidationにより、Mailの到着数は更に集中するわけですから、Application Serverとの分離を念頭に置いて集中化を検討すべきなのです。
この記事を読んで、Directory IndexerのようにUpdateからFT Indexerを分離してしまえばいいのではないかという方もいらっしゃるかも知れません。
それも一つの解決策になると思いますし、私自身、そのように改善するよう開発に要請していますが、現時点のDomino 7 BetaでもDomino 6.xと同様の動作をしています。
無いものねだりをしても仕方ありませんので、ユーザーの防御策としてMail ServerとApplication Serverを分離して運用することや、Mail DBのFT Indexは即時に更新されないことを利用者に徹底することも必要なのではないでしょうか?
Softwareというのはその仕様によって、ある程度の制限は受けるものです。
それを知って上手に利用すれば不満はでませんが、知らずに利用すると制限事項に遭遇し不満が溜まることでしょう。
そういう意味では、Softwareの制限について適切に案内するのもメーカーの義務かも知れません。
Domino 6.x における HTTP Queueing Method -2-
<話題の履歴>
Domino 6.x における HTTP Queueing Method -1-
前回はR5の仕組みと、6.xで変わった点について少しだけ触れました。
今回は、Domino 6.xでDomino R5以前と大幅に変わったQueueing Methodについて解説します。
R5までは前回説明したようにHTTP RequestがHTTP Request Queueに入り、HTTP Worker Threadで空いているWorker ThreadがRequestを取りにいって処理する方式であり、Queueは一つでなりたっており、所謂Queueing Theoryの単一窓口Modelになっているわけです。
では、6.xではどのように変更されたのでしょうか?
Domino 6.xではHTTP Request Queueに加え、Worker Thread Queueが追加されています。
HTTP RequestがHTTP Request Queueに入ってくると、HTTP Taskは設定されているHTTP Worker ThreadにRound Robinで順にRequestを振っていきます。
前回も書きましたが、Domino 6.xではPersistent Connection = 5 の設定がされますので、同一ClientからのRequestは最大5個まで同一Worker Thread Queueに割り振られます。
なぜ、このような変更を行ったのでしょうか?
大規模でRequest数が多い環境ではWorker Threadを同時に多く動かして処理効率を上げようというのが狙いだったようです。
しかし、ここで少し冷静に考えて見ましょう。
HTTP Request Queueまでは単一窓口Modelですが、HTTP Worker Thread Queueに入ったとたんに複数窓口Modelになってしまうのです。
これが意味することは、賢明な皆さんなら直ぐに理解されることでしょう。
例えばATMが1台しかないような銀行の出張所を想像してみてください。
普通は個人だとお金をおろして振込みするなど1-2 Transactionしか行いません。
ところがそんな所に会社の経理担当の女性がやってきて、会社の振込み処理を何件も連続処理した場合を考えてみてください。
後ろで待っている人はいつまでたっても自分の順番が回ってこないのです。
では、HTTPだとどうなのでしょう?
Worker Threadが処理している内容が、FileのDownloadであるとか非常に重い処理だった場合を考えてみるとよいでしょう。
ATMの例えと同じです。HTTP Worker Thread Queueに入っている他の処理はこのDownload処理のお陰でずっと処理されずに待たされることになるのです。
処理されないということは、ClientへのResponseが返らないということです。
私は実際にこういう状態になったお客様に遭遇したことがあります。勿論、解決策が提供されました。
特にDominoのようなCollaborationで利用する場合、添付ファイルがある場合は非常に多いと思います。
そのようなApplicationではこのQueueingの方法では適切なResponseが得られないのです。
軽いHTTP Requestばかりが来るようなApplicationであれば、Worker Threadを全て使って処理するため、同時並行処理が効率よく行われPerformanceはよくなりますが、重い処理があるようなApplicationにはこの処理方法は向かないのです。
また、R5時代にHTTP Thread数を悪戯に多く設定していたとしましょう。
R5ではWorker Threadが全て動くことなど滅多にありませんでした。
しかし、この設定のままDomino 6.xにVersion Upしたとすると、設定したWorker Thread全てが稼動し始めるわけです。
Memoryが足りなくなることは、皆さんも直ぐに想像できるのではないでしょうか?
勿論、これではHTTP Serverとしては欠点がある訳ですから、Domino 6.5.5/6.0.6で改善が予定されていますし、6.5.4 FP1でも提供されることになっています。
Domino 6.5.5/6.0.6からは、R5時代と同じ動作の設定、Domino 6.xの動作の設定、その中間に位置するHTTP Worker Thread Queueの中を判断して空いているQueueに割り振る設定という3種類の方法が提供される予定となっています。
Server単位で設定が可能ですので、FileのDownloadなどの重い処理のあるDBが稼動するServerではR5と互換の動作設定をすることをお勧めします。
詳細は、6.5.5 Fix List を参照ください。
このFix Listに書かれているように、6.5.4 FP1/6.5.5からは以下の設定がサポートされます。
HTTPQueueMethod=0 - This setting is the default, and represents no change in queueing from the R6.0 and above. The accept thread will evenly distributed network connections to all worker threads using a round robin method. Connections are assigned to a specific thread.
HTTPQueueMethod=1 - This setting will cause the accept thread to find the worker thread that has the least number of network connections assigned to it and assign the new network connection to that worker thread. It is still possible that a new network connection may be assigned to a thread that is in the process of processing a long running request. It is recommended but not required that persistent connections are disabled when using this option to get the maximum effect. This will limit the possible wait time if a new network connection is queued to a thread that already is busy with other connections(s)
HTTPQueueMethod=2 - This setting will cause the accept thread to put the incoming network connections on a queue from with the worker threads will pull from. This is the same model as R5. It is also recommend but not required that persistent connections be disabled when using this option to get the maximum effect.
今回紹介した内容は、HelpやRelease Noteには記述されていません。
もし、皆さんの現在の環境で、この問題に遭遇した場合は、IBM Lotus Technical Supportに連絡してください。
究極のDiscussion Template? -4-
<話題の履歴>
前回は、執筆者へのMail機能を付け加えてみました。
Notes 7のDiscussion Templateでは、そのようなことをしなくてもSametimeさえ導入されていればSametimeのAwareness(在席確認)がDiscussion Templateでも標準装備されていますので、直接Chatで会話するという手もあります。
また、このChatでの会話には会話時刻を打刻したり、Mail DBやFileに保存する機能も備わっていますので、Mail機能は必要ないかも知れませんが、Sametimeだけでは相手が在席していない限り会話できないですし、Sametimeが導入されていない場合もあるでしょうから、そのような場合に活用頂けると言う事で許してください。
今回は、ちょっと趣向を変えてDiscussion Templateについて少し考えてみることにしましょう。
まず、Discussion DBの"Main Topic"や"Response"、"Response to Response" Formを開いて見てみます。
そこには、MainIDというFieldが見つかるでしょう。
このFieldは常に、Main Topic(主文書)の文書のUNIDを保持するようにできています。
このFieldはR4.xの頃には無かったFieldで、確かNotes/Domino 6以降から設定されているのではないでしょうか?
これは使い道があるからこそ追加されているわけです。
実際R4.xの頃になくて、私はR4.xでDiscussion Templateを拡張するために、このFieldを追加しました。
その辺の改造は次回以降の話題にするとして、もう少しDiscussion Templateの中身を見ていきましょう。
"Response"や"Response to Response"のFormをDesignerで開いてみましょう。
表が作成されていて、2番目の表部分はSubformで構成されています。
その部分をダブルクリックすると、"Shared Response Header"というSubformが開かれます。
その中にある、Fieldを見てみることにしましょう。
まず、"OriginalSubject"というFieldが見つかるでしょう。
このFieldは作成時の計算結果Fieldとして定義されており、以下の式が設定されています。
@If(@IsAvailable(OriginalSubject); OriginalSubject; Subject)
つまり、返答文書(Response)を作成した場合は"Main Topic"にはこのFieldはありませんから、Main TopicのSubjectが設定されますし、返答への返答文書(Response to Response)を作成した場合は、返答文書にある"OriginalSubject"が設定されます。
つまり、このFieldは常にMain TopicのSubjectを返答文書に引き継いで保持し続けていくのです。
では、Main TopicのSubjectが途中で変更されてしまったらどうなるでしょう?
当然このFieldは自動更新されるわけではありません。
つまり、古い状態のMain TopicのSubjectを持ち続けるわけです。
DBを全文検索した場合もこのFieldの値が検索条件にヒットしてしまい、適切な検索が出来ないといったことが生じるかも知れません。
かといって、このFieldを直そうとすると、Agentで直してやるなどが必要ですし、文書を編集してしまうと、一般の利用者に未読文書となってしまい、未読を管理して新着記事を検索しているような人もいますので、このような処理はできないでしょう。
また、"ImmediateParentSubject"、"ParentSubject"というFieldがありますが、これらも作成時の計算結果Fieldですので上記と同じことが言えるわけです。
さて、次回からは親文書が編集された場合でもこれらのFieldをいつも正しい値にすることを考えていきましょう。