Lotus Notes/Domino (R) をこよなく愛して。。。。 -27ページ目

ND V9 FP9で実装されたInline Indexerを試してみよう! -3-

<話題の履歴>

ND V9 FP9で実装されたInline Indexerを試してみよう! -2-

ND V9 FP9で実装されたInline Indexerを試してみよう! -1-

 

前回は、Inline Indexの動作を確認してみました。

今回は、NIFNSFが有効な場合の動作を確認してみたいと思います。

 

このシリーズの最初にTransaction Loggingを無効化したのですが、再度有効化します。

更に、前回利用したテスト用DBのGroup文書は全て削除して、ServerをRestartします。

 

また、前回利用したテスト用DBの両方をNIFNSFを有効にします。

 

load compact -c -nifnsf on InlineIndex\names_inlineindex_on.nsf
[0CA8:0055-0670] 2019/01/29 14:18:23   Remote console command issued by Administrator/Lotus: load compact -c -nifnsf on InlineIndex\names_inlineindex_on.nsf
[1010:0004-09CC] 2019/01/29 14:18:25   Informational, NIFNSF has been enabled for database InlineIndex\names_inlineindex_on.nsf.
[1010:0004-09CC] 2019/01/29 14:18:25   Recovery Manager: Assigning new DBIID for C:\IBM\Domino\Data\InlineIndex\names_inlineindex_on_nsf.ndx (need new backup for media recovery).
[1010:0004-09CC] 2019/01/29 14:18:25   Compacting InlineIndex\names_inlineindex_on.nsf (Inline Index on Lotus's Directory),  -c -nifnsf on InlineIndex\names_inlineindex_on.nsf
[1010:0004-09CC] 2019/01/29 14:18:27   Recovery Manager: Assigning new DBIID for C:\IBM\Domino\Data\InlineIndex\names_inlineindex_on.nsf (need new backup for media recovery).
[1010:0004-09CC] Clearing DBIID 16CCA86A for DB C:\IBM\Domino\Data\InlineIndex\names_inlineindex_on.ORIG
[1010:0004-09CC] 2019/01/29 14:18:29   Compacted  InlineIndex\names_inlineindex_on.nsf, 2048K bytes recovered (12%),  -c -nifnsf on InlineIndex\names_inlineindex_on.nsf
[1010:0002-06F4] 2019/01/29 14:18:29   Database compactor process shutdown
load compact -c -nifnsf on InlineIndex\names_inlineindex_off.nsf
[0CA8:0055-0A28] 2019/01/29 14:18:30   Remote console command issued by Administrator/Lotus: load compact -c -nifnsf on InlineIndex\names_inlineindex_off.nsf
[0ECC:0004-0F08] 2019/01/29 14:18:32   Informational, NIFNSF has been enabled for database InlineIndex\names_inlineindex_off.nsf.
[0ECC:0004-0F08] 2019/01/29 14:18:32   Recovery Manager: Assigning new DBIID for C:\IBM\Domino\Data\InlineIndex\names_inlineindex_off_nsf.ndx (need new backup for media recovery).
[0ECC:0004-0F08] 2019/01/29 14:18:32   Compacting InlineIndex\names_inlineindex_off.nsf (Inline Index off Lotus's Directory), -c -nifnsf on InlineIndex\names_inlineindex_off.nsf
[0ECC:0004-0F08] 2019/01/29 14:18:34   Recovery Manager: Assigning new DBIID for C:\IBM\Domino\Data\InlineIndex\names_inlineindex_off.nsf (need new backup for media recovery).
[0ECC:0004-0F08] Clearing DBIID 3211DBD5 for DB C:\IBM\Domino\Data\InlineIndex\names_inlineindex_off.ORIG
[0ECC:0004-0F08] 2019/01/29 14:18:35   Compacted  InlineIndex\names_inlineindex_off.nsf, 2048K bytes recovered (12%),  -c -nifnsf on InlineIndex\names_inlineindex_off.nsf
[0ECC:0002-0DB8] 2019/01/29 14:18:36   Database compactor process shutdown

 

これで、NIFNSFが有効になり、NDXファイルが生成されました。

 

 


では、この状態でView Indexの状態を確認しておきます。

どちらのDBもGroups View Indexはほぼ最低限の容量まで小さくなっていることが確認できます。

 

 

では、前回と同様にAgentからGroup文書を生成します。

しかし、残念ながら、Administratorから見たView Indexの容量は増えることもなく、NDXの容量も増えませんでした。

 

 

つまり、NIFNSFとInline Indexの機能は併用できないということだと思います。

私は、FP8で実装されたNIFNSFが予定通りのPerformanceが出ないため、それを補うためにもInline Indexの機能が搭載されたのかと思っていましたが、期待外れだったようです。

 

今回、Indexer TaskのIntervalを30分に設定していますので、NDXファイルを更新するのがIndex Taskのみなのかどうかを確認するため、最大の30分間待ってみることにします。

30分経過して確認したところ、NIFNSFが無効なDBのIndexに関しては更新が行われ、View Index容量も増えていました。

以下のExplorerでの更新日時は他のTaskがDBを更新したためだと思われますが、全て同じになっていますが、見ていた限りでは、NIFNSFが無効なDBは約20分経過の時点でView Indexの更新が確認できています。

 

 

AdministratorからView Indexの状態を確認すると以下のようになっています。

 

 

更に放置して待っていると、Group文書作成のAgentを流してから、1時間経過した時点でようやくNIFNSFを有効化したDBのIndexの更新が行われました。
 
 
View Indexが更新された時間には、Console Logに以下が記録されていました。
 
[0990:0007-0144] Successfully refreshed Inline Index for C:\IBM\Domino\Data\InlineIndex\names_inlineindex_on.nsf, All Views
[0990:0007-0144] Successfully refreshed Inline Index for C:\IBM\Domino\Data\InlineIndex\names_inlineindex_on.nsf, All Views
 
今回のテストは非常に残念な結果に終わりました。
しかし、内部的にどのような動作でIndex更新が行われ、Inline Indexが有効化されたDBのIndex更新が遅れたのかは分かっていません。
Inline Indexが有効化されたDBはInline Indexerのみが更新を行い、Indexerからの更新が行われないと言うのであれば、Indexは永遠に更新されない訳で、今回の結果はそうではないからです。
これ以上の深追いは時間の無駄ですし、内部の動きを把握するためにDebugパラメーターなどを探さなくてはならなくなるため、これ以上の究明はやめることにします。
 
このシリーズではNotes/Domino 9.0.1 FP9で実装されたInline Indexの機能の検証を行ってきましたが、NIFNSFが有効にされたDBではInline Indexは逆効果であることが分かりました。
今回の評価では、Indexer TaskのIntervalを30分としたため、このように顕著に現象が現れたのかも知れませんが、Defaultの5秒であっても、今回の検証と同じように最大10秒を要するかも知れません。
通常のApplicationからの利用であればProgramからViewを開く要求が出されるため、その時点でView更新が行われ、それ程大きな問題は発生しないと思いますが、NIFNSFを有効にしたDBに対し更にInline Indexを有効にすることは避けた方が良さそうです。
NIFNSFを有効化しないDBであれば通常のIndexerに比べ高速にView Indexが更新されるため、Application Performanceには貢献すると思われます(但し、多くのDBを対象にした場合はServer Resourceを考慮する必要があるでしょう)。
 
IBM/HCLには、これらの二つの機能が両立してかつ、Performance良く動くように改善されることを期待したいと思います。

 

<終わり>

 

 

ND V9 FP9で実装されたInline Indexerを試してみよう! -2-

<話題の履歴>

ND V9 FP9で実装されたInline Indexerを試してみよう! -1-

 

前回は、Inline Indexを試すために評価環境の設定変更を行いました。

今回は、Inline Indexがどように動作するか試してみたいと思います。

 

まず、このInline Indexの機能を試すために、2個のテスト用DBを用意します。

今回も、names.nsfのCopyで作成します。

 

 

次に、Inline Indexを有効にするため、Notes.iniにパラメータを追加します。

 

set config INLINE_VIEW_INDEX=InlineIndex\names_inlineindex_on.nsf
[132C:0055-108C] 2019/01/29 10:04:42   Remote console command issued by Administrator/Lotus: set config INLINE_VIEW_INDEX=InlineIndex\names_inlineindex_on.nsf
show config INLINE_VIEW_INDEX
[132C:000B-0B1C] INLINE_VIEW_INDEX=InlineIndex\names_inlineindex_on.nsf
[132C:0055-05AC] 2019/01/29 10:05:02   Remote console command issued by Administrator/Lotus: show config INLINE_VIEW_INDEX

 

これで片方のDBだけ、Inline Indexが有効になった状態です。

ここで、二つのテスト用DBのIndexの状態を確認しておきます。

以前のテスト時にもSystem Viewの一部は自動的にIndexが更新され、View Indexが出来た状態になるため、Userが明示的に開かないとView Indexが構築されないViewの状態を確認します。

今回はGroups ViewのIndexをDomino Administratorから確認すると、View Indexが無い状態であることが分かります。

 

 

暫く様子を見ても、このViewはどちらのDBでもIndexが作成されることはありませんので、Notes ClientからView指定で開き、両方のDBにIndexを構築します。

Inline Indexを有効にするためには、一度Viewを開く必要があるためです。

 

 

次に、Update TaskがView Indexを更新してしまうと、違いが確認できませんので、Update TaskのIntervalを設定することにします。

Update TaskはDefaultで5秒のIntervalでView更新を行いますが、 UPDATE_IDLE_TIME Notes.iniパラメータによって変更が可能となっています。

通常は間隔を短くして使うパラメータですが、今回は、作業時間も考えて、30分(1800秒)に延ばすことにします。

 

set config UPDATE_IDLE_TIME=1800
[132C:0055-0F1C] 2019/01/29 10:33:45   Remote console command issued by Administrator/Lotus: set config UPDATE_IDLE_TIME=1800
show config UPDATE_IDLE_TIME
[132C:0055-0F08] 2019/01/29 10:34:00   Remote console command issued by Administrator/Lotus: show config UPDATE_IDLE_TIME
[132C:000B-0B1C] UPDATE_IDLE_TIME=1800

次に、この二つのDBにGroup文書を生成するAgentを準備します。

以前、NIFNSFのPerformance測定で利用したAgentを流用して、View Refreshを行わないようにしたものを用意します。


Sub Initialize
    Dim ss As New NotesSession
    Dim db As NotesDatabase
    Dim doc As NotesDocument
    Dim File(1) As String
    Dim i As Integer

    Const SrvName = "Domino10Srv/Lotus"
    File(0) = "InlineIndex\names_InlineIndex_off.nsf"
    File(1) = "InlineIndex\names_InlineIndex_on.nsf"

    For i = 0 To 1
        Set db = ss.Getdatabase(SrvName, File(i), False)
        Set doc = db.Createdocument()
        doc.Form = "Group"
        doc.DocumentAccess = "[GroupModifier]"
        doc.GroupType = "0"
        doc.ListName = "TestGroup"
        doc.Type = "Group"
        Call doc.save(True,False,False)
        Set db = ss.Getdatabase(SrvName, "names.nsf", False)
        Sleep(10)
    Next    
End Sub

 

このAgentを実行し、Domino AdministratorからView Indexサイズを確認しましたが、どちらのDBも追加前と何ら変わりませんでした。

最小限のView Index Sizeである42,192 Bytesのままです。

では、もう少し、Indexを膨らませるために、生成するGroup文書の数を増やして試してみます。


Sub Initialize
    Dim ss As New NotesSession
    Dim db As NotesDatabase
    Dim doc As NotesDocument
    Dim File(1) As String
    Dim i As Integer
    Dim j As Integer

    Const SrvName = "Domino10Srv/Lotus"
    File(0) = "InlineIndex\names_InlineIndex_off.nsf"
    File(1) = "InlineIndex\names_InlineIndex_on.nsf"

    For i = 0 To 1
        Set db = ss.Getdatabase(SrvName, File(i), False)
        For j = 1 To 100
            Set doc = db.Createdocument()
            doc.Form = "Group"
            doc.DocumentAccess = "[GroupModifier]"
            doc.GroupType = "0"
            doc.Type = "Group"
            doc.ListName = "TestGroup" + CStr(j)
            Call doc.save(True,False,False)
        Next
        Set db = ss.Getdatabase(SrvName, "names.nsf", False)
        Sleep(10)
    Next    
End Sub

 

まず、Inline Indexが有効化されたDBのGroups ViewをAdministratorから確認すると、以下のようにView Indexが更新されていることが確認できます。

 

 

逆にInline Indexが有効化されていないDBのGroups Viewは更新されていない状態です。

 

 

Inline Indexを有効にすると、瞬時にしてView Indexが更新されることが確認出来ました。

 

Viewの即時更新が重要な採番DBなどに活用すれば、重複採番されることもかなり少なくなるのではないかと思います。

 

今回は、Inline Indexの動作を確認してみました。

次回は、NIFNSFが有効な場合の動作を確認してみたいと思います。

 

<続く>

 

 

ND V9 FP9で実装されたInline Indexerを試してみよう! -1-

Notes/Domino 9.0.1 FP9でInline Indexerという新しいTaskが搭載され、これまでのIndexerとは異なり、即時にView Indexを更新するようになっています。

私は、NIFNSFの検証時に存在を確認しましたが、一体どのような動きをするのか興味があるところです。

今回は、このInline Indexerの機能を検証したいと思います。

 

現在、私の評価環境ではNIFNSFの機能を利用するために、Transaction Loggingが有効になっていますが、一旦無効にすることとします。

また、names.nsfをNIFNSFを有効にしているため、これも一旦、無効にします。

何と、この順序で設定変更すると、Crashしてしまいました。

 

c:\IBM\Domino>ncompact -c -nifnsf off names.nsf
[1144:0002-0984] Recovery Manager: Transactional Logging being disabled after this restart
[1144:0002-0984] Restart Analysis (0 MB): 100%
[1144:0002-0984] Clearing DBIID F230CA2B for DB C:\IBM\Domino\Data\log.nsf
[1144:0002-0984] 2019/01/29 06:42:51   Recovery Manager: Restart Recovery complete. (0/0 databases needed full/partial recovery)
[1144:0002-0984] Clearing DBIID D66332BC for DB C:\IBM\Domino\Data\names.nsf
[1144:0002-0984] Clearing DBIID A486F803 for DB C:\IBM\Domino\Data\names_nsf.ndx

[1144:0002-0984]  Thread=[1144:0002-0984]
[1144:0002-0984] Stack base=0x726DE800, Stack size = 19552 bytes
[1144:0002-0984] PANIC: ERROR - LockMemHandle() Handle 0x0 is not a valid MEMHANDLE

 

Serverも立ち上がらなくなってしまいますので、names.nsfにNIFNSFを適用した際には注意が必要なようです。

取り敢えず、Notes ClientでServer文書のTransaction Loggingを有効にして、再度NIFNSFの無効化を行いましたが、Shared Memoryに問題が生じたままとなっていて、Compactの実行ができませんでした。

 

c:\IBM\Domino>ncompact -c -nifnsf off names.nsf

 

そこで、NSD -killで完全にDomino関係の掃除をしてから実行すると、無事実行することができました。


c:\IBM\Domino>nsd -kill
Host Name       :
User Name       : Administrator
Date            : Tue Jan 29 06:50:52 2019
Windows Dir     : C:\Windows
Arguments       : nsd  -kill
NSD Version     : 10.00.0100.8332 (Release 10.0.1)
OS Version      : Windows/2012R2 6.3 [64-bit] (Build 9200), PlatID=2,  (2 Processors)
Build time      : Thu Nov 29 01:11:08 2018
Latest file mod : Thu Nov 29 00:07:31 2018

        Terminated process [nsenddiag:  0e38]

Started at: Tue Jan 29 06:50:52 2019
Ended   at: Tue Jan 29 06:50:54 2019
Time Spent: 00:00:02

Generated Messages:

   INFO (0): terminated process [nsenddiag:  0e38]

Please send the following files:

                NSD Log : C:\IBM\Domino\Data\IBM_TECHNICAL_SUPPORT\kill_W64I_Dom
ino10Srv_2019_01_29@06_50_52.log

c:\IBM\Domino>ncompact -c -nifnsf off names.nsf
[0F08:0002-10D4] 2019/01/29 06:51:25   Informational, rebuild view needed - invalid collection header (reading C:\IBM\Domino\Data\names.nsf view note Title:'($Servers)')
[0F08:0002-10D4] 2019/01/29 06:51:25   Informational, rebuilding view - no container or index (reading C:\IBM\Domino\Data\names.nsf view note Title:'($Servers)')
[0F08:0002-10D4] 2019/01/29 06:51:25   Informational, rebuild view needed - invalid collection header (reading C:\IBM\Domino\Data\names.nsf view note Title:'($ServerConfig)')
[0F08:0002-10D4] 2019/01/29 06:51:25   Informational, rebuilding view - no container or index (reading C:\IBM\Domino\Data\names.nsf view note Title:'($ServerConfig)')
[0F08:0005-0EA8] 2019/01/29 06:51:27   Informational, NIFNSF has been disabled for database names.nsf.
[0F08:0005-0EA8] 2019/01/29 06:51:27   Compacting names.nsf (Lotus's Directory),  -c -nifnsf off names.nsf
[0F08:0005-0EA8] 2019/01/29 06:51:28   Compacted  names.nsf, 768K bytes recovered (5%),  -c -nifnsf off names.nsf
[0F08:0002-10D4] 2019/01/29 06:51:29   Database compactor process shutdown

 

しかしながら、この状態でServerを起動すると、やはりServerがCrashしてしまいます。

 

[0B98:0002-00EC] Clearing DBIID 5E60D62E for DB C:\IBM\Domino\Data\nifnsf_perf\names_nifnsf_on.nsf
[0A44:0004-0B78] 2019/01/29 06:59:21   Informational, rebuilding view - no container or index (reading C:\IBM\Domino\Data\names.nsf view note Title:'($Clusters)')
[07E4:000A-0DDC] 2019/01/29 06:59:22   Database Server started
[0F20:0002-09F4] 2019/01/29 06:59:22   SchedMgr: Informational: Schedule Manager is responsible for the busytime database on this server.
[0B98:0002-00EC] Clearing DBIID 2F71AD22 for DB C:\IBM\Domino\Data\nifnsf_perf\names_nifnsf_on_nsf.ndx
[0BCC:0002-0AB8] Clearing DBIID D7C22F4D for DB C:\IBM\Domino\Data\admin4.ntf
[0640:0002-1248] 2019/01/29 06:59:22   DIIOP Server: Starting...
[0F20:0002-09F4] Clearing DBIID 2AED76DB for DB C:\IBM\Domino\Data\mail\administ.nsf
[0B98:0002-00EC]  Thread=[0B98:0002-00EC]
[0B98:0002-00EC] Stack base=0x6B2BE270, Stack size = 17664 bytes
[0B98:0002-00EC] PANIC: ERROR - LockMemHandle() Handle 0x0 is not a valid MEMHANDLE

 

Console Logの内容から、一つでもNIFNSFが有効になったDBがある状態でTransaction Loggingを無効にしてしまうと、ServerがPanicを起こしてしまうようです。

これも、NIFNSFを使う際の考慮点かも知れません。

今回は、NIFNSFが有効になっているDBを削除してServerを起動することで回避しましたが、Transaction Loggingを無効化する際は、事前にNIFNSFが有効になっているDBをListして、無効化することが重要です。

 

また、names.nsfのNDXファイルも最初のPanic Errorの影響か削除されずに残ったままとなっていましたので削除しました。

これでようやく、Serverが正常に立ち上がるようになりました。

 

個人的には、Transaction Loggingが無効になっている場合でも、Recovery Managerが処理して自動的にNIFNSFを無効にしてくれたら運用も楽だと思います(とは言っても、制限値ギリギリまで膨れ上がったDBだとView Indexが作成できなくなりますが・・・)。

 

思わぬ障害に遭遇し、話が全く逸れてしまいました。

 

Serverが正常に立ち上がるようになりましたので、Transaction Loggingを再度無効にして、ServerをRestartさせます。

Server Taskの状態を確認するとInline Indexerが稼働していることが確認できます。

 

 

これで検証する準備が整いました。

記事が長くなるので、今回は環境の準備だけにとどめておきます。

 

今回は、Inline Indexを試すために評価環境の設定変更を行いました。

次回は、Inline Indexがどように動作するか試してみたいと思います。

 

<続く>