auの通信障害のまとめ

ここの終了期限が伸びた為、他の記事の丸写しにはなりますが一応書いてみます。
auの通信障害の経緯
1.1台のルータ交換作業の為、通信経路を迂回し、ルータ交換作業をしたらVoLTE交換機でアラームが鳴る(7/2_1:35頃)
2.1部音声トラフィックの不通が判明した為、(おそらくルータを元に戻し)ルータ交換前と同じ通信経路となるよう切り戻し作業を実施。
3.上記作業時間15分(1だけか1,2両方の時間かは不明)の間又は作業後にVoLTE交換機に輻輳が発生。続いて加入者データベースにも輻輳が発生。
4.VoLTE交換機の負荷低減の為、全データの流量制限を段階的に実施。(7/2_3:00～15:22)
5.2台のPGW(東日本と西日本に各1台あるモバイル網と外部網との接続点)の切り離し作業を実施し加入者データベースの負荷低減を行う。(7/2_15:22以降)
6.(いつ判明したか分からないが)加入者データベースの不一致の修正作業に取りかかる。(7/2_17:31以降)
7.加入者データベースの不一致は解消。(西日本は7/3_11:00、東日本は7/3_17:30)
8.上記7で復旧宣言するものの、データ通信はほぼ障害が解消したものの、音声通話は依然障害は解消せず。
調査の結果、VoLTE交換機と加入者データベースは依然負荷が高いままであった。
9.さらに調査をしたところVoLTE交換機が加入者データベースに不要な過剰な信号を出していることが判明した。
10.7/4_12:18～13:18の間の調査の結果、全国に18台あるうちの6台だけが過剰な不要信号を出していた為、その6台を解列した。(この時点で障害は全て解消)
11.上記10で過剰なトラフィックが無くなり、通常レベルのトラフィックとなった為、7/4_14:51に流量制限は全て解除した。(おそらくこの時点で2台のPGWを接続したと思われる)
12.念のため復旧宣言は7/5夕方とし、問題なかった為、7/5に完全復旧となった。

終了まで、あと2時間ちょい→7月12日まで延長決定

今までありがとうございました。
とりあえず記事を消したりはしませんが
(緊急の場合は除きます)
昨日の履歴で携帯からのアクセス記録が3桁(151件)でしたので
みんなおつらいのではと思います。
スマホから記事を書くつもりは当面ないので
暫くお休みになるかと思います。
今までありがとうございました。

追記
7月12日まで延長となりました。
もう少し書けます。
ありがとうございます。

auの通信障害はほぼ解消の模様

2022年7月4日14時51分に流量制限を全て解消した模様。
今回、4日12時18分～13時18分にVolte交換機全国にある18台中6台のVolte交換機が加入者データベースに過剰なトラフィックを流していることが判明し解列したらしい。
これにより正常なトラフィックとなり流量制限をなくせたようだ。
これからはなにもせずに待つらしいが
私のメールなどにあるように各社色々あるのを対応するのがあるかもしれない。
ちなみに私はおっかけてなかったので分からなかったが
前回のドコモの障害はIotがらみ、
前回のソフトバンクの障害はライセンスの期限がらみらしい。
一応auでもドコモの対策として
Iotは既に別サーバ化しており、
Volteも何らかの対策はしていた模様。
ソフトバンクは輻輳ではないので今回の件にはからまない。
また今回の事象は1台のサーバの交換作業で
通信障害発生の為、切り戻ししたが
15分程の作業中に以下の現象が順に起きた。
1.VoLTE輻輳
2.加入者データベース輻輳
3.加入者データベースの不一致
この3つの問題で事象が拡大していったとのこと。
また復旧作業は総務省の指示により
豪雨である沖縄を含む西日本を優先的に行った。
ここからは私の妄想である。
また以下述べることは今回の現場旧多摩ではなく
静岡の件です。お間違いなきよう。
また今回は新多摩のサーバーで助かったらしいですね。
では始めます。
こういったサーバーには等値化というシーケンスがあると思われる。
私の会社のもよくやり問題となるのだが
個人の適当な判断で1台をメンテナンスする際に
特定の1台かどうかは不明だが何らかの設定を勝手に変えていくことで
等値化が正常に行われず狂っていくことはありそうだ。
(作業終了後で間違いに気付き、設定を戻してしまい、壊れていく可能性も大)
実際に何をやって壊れていくのか
私も現場にいなくて分からなかったが
他のサーバーと設定を合わせればよいわけではないと思われる。
等値化の手順もありそうで
途中で一時的に設定を変えながら等値化する場合
待たないと正常にならないのに待てないと壊れてしまう。
また今回みたいに停止出来ない場合は
また大変な気がする。
そうかといって例えばVolteを全て止めようとしても
音声もパケット上に乗っかってしまっている以上
なかなか難しい。
私はVolteの音声発呼シーケンスを知らないのでよく分からないが
もしかしたら発呼を全て禁止出来たら止められますけど出来るのですかね。
Volteはキャリア4社で全て違うらしいので
詳細は分からないのかもしれませんが
こういうのは統一してもよいのかもしれませんね。
いずれにしても音声のシーケンスも色々ありすぎて分からないです。
有線サービスでさえ音声シーケンスは沢山あるのでよく分からないのに
無線サービスでも沢山あるとよく分からないです。
公開されていないのかもしれませんが少しお勉強してみるかな。
あ、今回は加入者データベースなどの不一致ですか。
そうなると全ての利用者の通信を止めないといけなくなるので
止めるのは無理ですね…。
とりあえずSIPなのか分からないがS-CSCFを使用していることまでは判明しました。