V11.0.1 FP2に上げてからLock ManagerのLong Held Lockが頻発?
V9.0.1 FP10からV11.0.1 FP2に上げてから、Lock ManagerのLong Held Lockが頻発するようになった気がします。
Server起動後から発生していますので、何らかのServer Codeの変更が影響していると見ています。
Transaction Loggingを有効にしているServerで頻発するようですので、Transaction Log関係ではないかと思われます。
極稀に発生するServer無応答障害
関係している会社ではV9.0.1FP10にHFを当てた状態で利用しているのですが、極稀にServerが全く応答しない時間が5-15分程度発生するという障害が発生しています。
Port監視しているシステムからの通知で、DominoがDownしているように見えると言う状態です。
パターンとしては、以下の2パターンが確認できています。
1) Domino自体がDownしているように見える
この場合は、監視システムからDevice Down/HTTP Downが報告されてきますが、Console Logを見ても一切Restartされた形跡はなく、かつ、この障害が発生している間はConsole Logに一切書き込みがなく、Dominoが完全停止しているように見えるというものです。
2) HTTPサービスがDownしているように見える
この場合は、監視システムからHTTP Downのみ報告され、Console Logには障害時間内もRouterの配信Logが記録されており、Domino Server自体は動作していると思われるというものですが、HTTPのAccess Logを見ると、障害が発生している間は一切Logが書かれておらず、かつ、SemaphorTimeoutが数多く発生していると言うものです。
どちらの障害も一定時間のみ発生し、その後自然復旧してしまうため、障害解析が極めて困難な状態です(障害解析を行うには、障害が発生している時にNSDを取得することが必要です)。
HCLに問い合わせても、「障害発生時にNSDを取得してください」と言われるだけで、それ以上踏み込んだNSD取得方法などのガイドは行ってもらえません。
この状態だと、発生頻度が極めて低い障害の場合、NSDが取得できず解析も行えず、お蔵入りしてしまうというのが世の常です。
1)の障害は、Console LogやSEMDEBUGも書き込まれていない状態が確認できている為、解析情報を取得するのは極めて困難と思われますが、2)の障害はSEMSEBUGが書き込まれている為、Programによる検知が可能です。
Semaphore Timetoutは通常でも起こる可能性があり、これ自体が起こったからと言って、障害に繋がるとは限りませんが、2)の障害が発生する場合には、短時間に大量のSemaphore Timeoutが起こることが特徴です。
こういう場合、Dominoが自動的にNSDを取得してくれれば助かるのですが、残念ながら現在のVersionではそのような処理は行われません。
そういうことから、以下のようなCodeで一定間隔に規定以上のSemaphore Timeoutが発生した場合に限り、NSDを取得するようなProgramで監視することが考えられます。
つまり、以下のSample Codeの場合は、300秒(5分)の間に一定数(以下の場合20個)のSemaphore Timeoutが確認された場合にはNSDを取得するというものです。
@echo off
setlocal enabledelayedexpansion
cls
SET DomProgDIR=D:\Lotus\Domino\
SET DomTechDIR=E:\Lotus\Domino\
SET SCRIPTDIR=D:\admincmd\debug\
SET MaxLineCnt=20
SET PreLineCnt=0
SET CurLineCnt=0
del %SCRIPTDIR%log.txt
cd /d %DomTechDIR%
:Loop
IF !PreLineCnt!==0 (
for /f "usebackq" %%A in (`type semdebug.txt ^| find /c /v ""`) do (
set PreLineCnt=%%A
set CurLineCnt=%%A
)
) ELSE (
for /f "usebackq" %%A in (`type semdebug.txt ^| find /c /v ""`) do set CurLineCnt=%%A
)
SET /a Diff=!CurLineCnt!-!PreLineCnt!
If !Diff! gtr %MaxLineCnt% (
ECHO %date% %time% SEMDEBUG Line Count : !CurLineCnt! >> %SCRIPTDIR%log.txt
ECHO %date% %time% Execute nsd due to many semaphore timeout >> %SCRIPTDIR%log.txt
cd /d %DomProgDir%
NSD >> %SCRIPTDIR%log.txt
) ELSE (
ECHO %date% %time% SEMDEBUG Line Count : !CurLineCnt! >> %SCRIPTDIR%log.txt
SET PreLineCnt=!CurLineCnt!
cscript "%SCRIPTDIR%sleep300.vbs" //B
Goto Loop
)
このScriptをWindowsのTask SchedulerでServer起動時のScriptとして実行すれば、NSDを自動取得することが可能となります。
最初はNSD取得部分はコメントアウトして、SEMDEBUGのLine数の増加を把握した上で、環境に応じてMaxLineCntを調整頂くと良いと思います。
その調整期間が面倒と言う場合は、過去のSEMDEBUGをダウンロードしてLNDを使って時間を変換して(SEMDEBUG.txtは通常の状態でEditorで見ても発生日時が分かりません)発生頻度の把握をしてください。
古いGroupのMemberが返される問題(SPR# HHIEAM7HWS) Fixed
これまで、Groupを同じ名前で再作成していると、稀に、Group Memberとして再作成前のMemberが返されると言う障害がありました。
これまでの経験上、この障害はV8.5.x以降で発生すると思われます(私が関係する会社で、V7からV8.5.3にVersion Up以降、発生が報告されておりましたのでV8.0でも発生する可能性は否定できません)。
Memberが多いGroupを入れ子にして作成するような場合が多いと思いますが、子Groupの数が減る場合などを考慮して、一旦、関係Groupを全て削除して再作成するようなProgramを作成していると発生します(人事異動を考慮して毎日Memberを洗い替えするような処理です)。
DJX組織Groupでも発生するかも知れません。
この障害が発生した際には、Undocumented Functionの@ExpandNameListでGroup Memberを展開させると古いMemberに展開されることが確認できます。
この障害はユーザからGroupに対してメール送信を行うと、削除ユーザに送信されて配信エラーメールが返ってくることで確認できますが、Program的に把握するのは非常に面倒ですので、修復対応を自動的に行うのは困難です。ユーザから問題が報告された際に、対象GroupをCut & Pasteすると修復できます。
V10.0.1FP6/V11.0.1 FP2でようやくこの問題がFixされました(2016年頃に問題報告した記憶がありますので、Fixまでに5年程掛かりました)。
SPR# HHIEAM7HWS – Server – Directory – Fixed an issue where Domino Directory view would not update correctly after delete/readd group name. Workaround was to change the group by editing existing group vs delete/re-add.
また、($Users)などのSystem View IndexからEntryが欠落する(勿論、Mail送信エラーとなります)障害も、当Fixを適用することで問題が解決しているように思われます(私が関係している会社ではV9.0.1 FP10用のSPR# HHIEAM7HWS対応Hotfix適用後全く発生しなくなりました)。
こちらの障害はPeople ViewのUserを全て舐めながら、System ViewをGetDocumentByKeyでLookupすると欠落が発見できますので、発見された場合にはLotusScriptからServer CommandのUpdallを実行し対象のViewのIndex Rebuildを行うことで修復は可能です。
この障害は非常に重要で、致命的な物ですので、Dominoをご利用の皆さんは早急にV10.0.1FP6/V11.0.1 FP2にすることをお勧めします。
V10/V11にVersion Up出来ないような環境の場合は、サポートの有効なVersionであれば最新FPへのHotfix作成要求を行うしかありません。