網走拠点のあるユーザーから、
PCでシステムが使えないという連絡があったのが10/27。
翌日出社時に事象を認識。
エラー画面のキャプチャを見ると、対象システム以外にも共有NASも×になっており
ネットワークが繋がっていない様子なのが分かる。
当然その端末までのPINGは通じず。
更にその端末に接続されているはずのL2スイッチまでPINGは通じず。
拠点のL3スイッチ、NAS、他のL2やPCまでは通じるので、その課にあるL2スイッチが怪しい。
そのL2スイッチを直接見てもらうと、3本ケーブル接続されており、1本だけLinkランプが光っていないとの事。
機械は生きてるが、そのポートだけが使えていない。
上流のスイッチがどこかを調べたかったのだが、拠点の構成図が残っておらず、
10年前位のスイッチ購入履歴とフロア図しか情報が無いときた('Д')
もちろん各スイッチのポート構成表も無し('Д')
仕方無いので各ノードにPingを飛ばし、show arpの結果とshow mac-addressの結果から
1つずつポート接続先を特定し想定構成図をゼロから作成。
全体像が見えてきたところでL3スイッチの場所を特定。
そのL3スイッチログを見ると、1番ポートが1週間前位にLinkdownのログを発見。
その1番ポートを見てもらうと、ケーブルは接続されているが、Linkランプは消灯。
差し替えてみてもらっても、他の空きポートへ繋ぎ変えてもらってもNG。
ほぼ間違いなくケーブルの問題だな('Д')
と、ケーブル交換を提案するも、そのケーブルは2Fから5Fへ直結されているようでかなりの難工事になりそう。
ここまでに約1日半経過。
北見から技術員を応援で現地で見てみてもらう。
するとL3スイッチと問題のL2スイッチの間に、LANケーブル延長コネクタがあったらしく、
そこを1週間位前に課の模様替えをした時に、作業員がケーブルを外した・・・という事が発覚。。
それを繋ぎ直してもらうと復旧。
事は何もなかったかのように時は戻る。
延長コネクタはMACアドレス特定出来ないので、当然間に挟んでいる想定は出来ない。
現地でしか確認しないと分からない事象。
ん~、いい勉強になったのはなったものの、俺の2日間を返して('Д')
と思わざるを得ない出来事であった。