Lotus Notes/Domino (R) をこよなく愛して。。。。 -11ページ目

Indexerを複数動作させているServerでServer起動時にIndexerが停止する障害

Notes.iniにupdaters=を指定してIndexer(Update Task)を複数起動している環境で、Serverの定期RebootなどでDomino Serverを起動すると、起動直後に稀にIndexerが停止してしまうと言う障害が発生します。

 

Inline Indexerが実装されたV9.0.1 FP9からの現象だと思われますが、Inline Indexerを利用しないようにnotes.iniパラメータでInline Indexerを停止(Update_Disable_Inline_Thread=1)した状態でも発生します。

 

Server起動後直ぐに、Indexerが停止し、二度と稼働することは無いため、Backupの為などの理由で夜間にDomino Serverを再起動しているような運用の場合、運用員が停止に気が付くまで、Indexerは停止状態になり、新着メールや新規に投稿されたDBの文書などがViewに表示されないと言う現象になります。

 

原因は、複数のIndexerを起動している環境で、Domino Server起動時に、稀に複数のIndexerが同時に起動しようとして、お互いに干渉してしまい、異常終了することが原因のようで、この現象はDomino起動時に必ず発生する障害ではありません。

 

この障害は、V12.0.1にて修正される予定とのことです。

 

といっても、まだ出荷もされていませんので、直ぐにV12.0.1にUpgrade出来る訳もありませんし、V9.0.1 FP9/FP10やV11.0.1で利用されている場合もありますので、何らかの回避策が必要となります。

 

簡単な回避策は、Updaters=nのnotes.iniパラメータを削除して、Update Taskの稼働を1個に戻すことですが、View更新が多く、View Indexの更新が遅れ気味になる環境ではIndexerの数をDefaultの1個に戻すことも出来ないかも知れません。

※ちなみに、システム管理サーバはUpdaters=nの設定を行っても、Indexerは1個しか動作しないのが仕様とのことですので、システム管理サーバで複数のIndexerをnotes.iniの指定で稼働させることは出来ません。つまり、Indexerを複数必要とするServerをシステム管理サーバに指定してはいけないということです。

 

まず、Domino Server起動直後にIndexerが停止したことを検知することが必要ですが、Indexerが停止した際にconsole.logに記録されるMessageは通常のIndexが完了した際にも記録され、その区別をすることが出来ません。

つまり、このMessageを検知したとしても、適切に起動直後にIndexerが停止したことを捕捉できる訳ではないのです。

 

Inline Indexerを利用していない環境(Update_Disable_Inline_Thread=1)の場合、Inline Indexerの停止Message(Inline indexing thread interupted)は一切出力されませんので、Inline Indexerを利用していなくても、Update_Disable_Inline_Threadパラメータを削除し、Inline Indexerが稼働した状態にします。

これで、Server停止時にInline Indexerの停止Message(Inline indexing thread interupted)が記録されることが確認出来ます。

Inline IndexerをどのDBでも利用していなければ、このMessageは、Indexerが停止する前に必ず出現するのです。

勿論、Server起動直後にIndexerが異常終了した場合もこのMessageが記録されるため、Indexerが停止したことを検知できるのです。

 

ここまでくると、対処方法は簡単で、Event Handlerを作成し、Inline Indexerの停止Message(Inline indexing thread interupted)を捕捉して、load updateコマンドを投げることで、稼働していたIndexerと同数のIndexerが起動されるという訳です。

Server停止時にも捕捉されて実行されるのでは?と思われるかも知れませんが、Server Shutdown時はEvent HandlerでのMessage捕捉は行われないようです。

 

このEvent Handlerで1年近く運用した経験上、特に問題なく、Indexer停止を捕捉して、再度IndexerをLoadしていることが確認出来ています。

皆さんの環境でもこのような障害が発生した場合、回避策として検討ください。

 

 

 

V11.0.1 FP2で発生していたPerformance問題がFP4でようやく解決!

以前、紹介しましたが、Domino V11.0.1 FP2では全体的にPerformanceが悪く、IOPSも異常な数値となる障害がありました。

 

この障害は、Indexerの処理が悪く、Online CompactやUnread処理でNIFを処理する際に一部ファイルのHandleを握った状態で開放しない状態が発生し、I/Oが待たされ、Semaphore Timeoutが多発したり、ファイルのLong Held Lockが多発し、最終的にはHTTPなどのServer ProcessがHang状態に至ると言う障害です。

 

HCLのサポートでも報告が行われていますが2012/10末時点では情報が古いままとなっています。

 

極めて致命的な障害ですが、FP4でようやくFixが行われました。

こんな障害が1年近く解決しなかったのかと思うと、幾らFPの出荷タイミングがあるとは言え、少しガッカリします。

 

SPR# YCHAC38D3T – Server – Database – Fixed a server hang involving unreads and inplace compact

 

ただ、FP4では、iNotesにRegression Bugがあり、Edge/Firefox/Chrome(iNotes Controlが利用できない環境)で長い日本語ファイル名の処理が正常に行われない障害があるため、iNotesユーザでEdge/Firefox/Chrome(iNotes Controlが利用できない環境)を利用している場合は注意が必要です。

 

Edge/Firefox/Chrome(iNotes Controlが利用できない環境)を利用したiNotes環境でFP4を適用する場合は、HCLにHotfixの作成依頼を行うしかありません(FP5の提供スケジュールは現時点で未定ですし、HCLのHotfix提供の基本ポリシーは最新FPへの提供となっているため)。

 

 

 

iNotes V11.0.1 FP4で長い日本語名のファイルが正常に起動/保存できない障害

Domino V11.0.1 FP4に上げると、iNotesで長い日本語名のファイルが正常に起動/保存できない障害が発生します。

 

日本語で20文字程度を超えたファイル名の場合に、EdgeでファイルのDownloadや起動を行うと、EdgeのWorkエリアには、ファイル名が途中で切られて、拡張子も無くなった状態で一時保管され、拡張子が無いために正常にApplicationが起動されず、添付ファイルが利用できない状態となります。

 

この障害は、Edge/Chrome/Firefoxの場合及びIEでiNotes Controlが導入されていない場合のみ発生し、IEでiNotes Controlが導入されている環境では発生しません。

 

EdgeはActiveX(iNotes Control)をサポートしなくなっていますので、iNotesをEdge Native Modeで利用する際はご注意ください。

 

尚、この障害はFP4でのRegression BugでFP3では発生しません。

V12.0.1にて修正の予定となっています。

 

HCLからもTechnoteが発行されています。