どうも、はむばねです。
今しがたようやく対応終わったよー＼(^o^)／
29 July 2013 10:00 AM
始まりは、ごくありふれたオペレータコールであった。
「チョリーッスｗｗｗｗなんかーwwｗwテープ交換しようと思ったらーｗｗｗｗエラー出てできなかったんすけどｗｗｗｗマジウケるｗｗｗｗ」
そんなオペレータさんからの電話を、私から先輩にエスカレーション。
「おｋ。どうせ大したことないから、こっちで対応しとくわ」と頼もしい先輩のお言葉を承る。
29 July 2013 01:00 PM
バックアップジョブがこける。
29 July 2013 01:15 PM
「嫌なこと言ってもいい？」という前置きと共に、先輩から告げられた言葉。
曰く。
「 ハ ー ド ウ ェ ア 壊 れ て る か も し れ ん ね 」
それが、全ての始まりを告げる鐘の音であった。
29 July 2013 01:45 PM
IBMコール。
29 July 2013 02:00 PM
別件にて先輩が全く動けない状況なので、他メンバーにて対策を検討。
メンバーの年次は以下の通り。
４年目（私/バックアップされる側の主担当）、３年目（バックアップサーバの主担当）、２年目（バックアップされる側の副担当）、１年目（配属１ヶ月/バックアップサーバの副担当）。
メンバーからして既に若干の不安が漂う。
とはいえ、私と１年目の人以外はそれなりに経験を積んだ猛者である。
とりあえず、ハードウェア故障だとして、交換を今日やるのか明日やるのかを協議。
この時、本心では誰もが明日での対応を望んでいたと思われる。
なぜならば、結局ド深夜まで及んだ前回の同じ対応が頭をよぎったためである。
ぶっちゃけ２つあるドライブのうち１つが壊れただけなので、縮退運転すれば基本影響はないのである。
しかしまぁハードウェア故障ですしお寿司、万一もう片系もぶっ壊れたら目も当てられんし、ってなわけで今日実施することに。
後に、前回の対応などまだまだド深夜と言うに及ばないと思い知らされる事を、この時誰も想像だにしていない。
29 July 2013 03:00 PM
手順確認や、IBMとの調整。
IBMの話によると、17時開始で4時間程度の作業見込みとのこと。
予定では21時終了。
最初に走り始めるジョブが21時半なので、かなりギリギリである。
しかし、それ込みでもやはり本日実施に決定。
なお、最終的に21時半とかそういうレベルではなくなるという事を、この時誰ｍ（ｒｙ
29 July 2013 05:00 PM
IBM到着。
なんか入館で揉める。
29 July 2013 05:45 PM
自社打ち合わせのため、私は一時的に帰社。
29 July 2013 07:00 PM
打ち合わせから戻る。
交換どころか、まだ調査すら終わってないとの報せを受ける。
既に私の中では嫌な予感が全力で警鐘を鳴らし始めていた。
29 July 2013 08:30 PM
交換作業開始。
お、おぅ。
予定終了時刻まであと１時間やけど大丈夫か？
無論大丈夫なわけはなかった。
29 July 2013 22:30 PM
交換作業終了。
しかし、交換した部品が更に壊れていたため正常稼働確認出来ず。
ま た か ！
なんなの？ 部品蹴飛ばしながら持ってでも来てるの？
とはいえ、前回の反省を生かし今回は予備の部品も持ってきてもらっている。
しかし、時既に22時半。
ここからまた2時間半とかかけて交換対応するのは現実的じゃない。
というわけで、結局縮退運行する方向で調整開始。
この時、「終電って何時なんですか？」「０時前かな」「余裕ですね」等の会話が交わされる。
終電余裕どころか、始発とどっちが早いか競うことになろうとはこの時誰ｍ（ｒｙ
29 July 2013 23:00 PM
動作確認準備完了。
失敗。
テープの情報収集が上手くいかない。
とっくに帰った先輩に電話で助けを求める迷惑行為等で調査を進める。
29 July 2013 23:30 PM
最終的に、結局壊れてる方のドライブでテープの情報を収集しようとした結果失敗していたらしい。
そしてここから、長い戦いが始まる。
ここから先の事は、正直よく覚えていない。
時刻は記さず、ただ思い出せることだけを羅列していこう。
とりあえず壊れてる方のドライブを完全に抜いてみる。
テープの情報収集に失敗するどころか、そもそも収集が走らなくなる。
デバイスの認識がおかしいのではないか？
サーバを再起動する。
変わらない。
今度はデバイスを逆にして両方付けてみる。
走らない。
デバイスの環境設定を変えてみる。
走った！
あれ、でも結局失敗してね？
ていうか、なんか１つ１つのテープ読むのにすげぇ時間かかるようになってね？
途中で停止？ 出来ん。
強制停止？ しようとすると、テープの位置がわかんなくなるからやっぱ出来ん。
終わるまで待つ？ 何時間かかんねん。
なんか、徐々に状況悪化してね？
とりあえず、テープ出た瞬間を狙いしましてIBMがプッツン対応。
サーバを再起動。
テープの情報収集が失敗するように。
よし、ようやく振り出しに戻ってきた。
30 July 2013 3:00 AM
これまでの長きの戦いの中で、我々はようやく問題の核心に迫ろうとしていた。
それまでのおっかなびっくり、トライアンドエラーの姿勢とは明らかに異なる、確信を持った手付き。
そして我々は……ついに、テープの情報が正しく収集されていく様をその眼に焼き付けた。
第一関門、突破！
30 July 2013 3:30 AM
無事全てのテープの情報収集が完了。
そして第二関門、サーバを跨いでのデバイスが見えるかどうか。
本来であれば特に問題のない箇所であるが、前回はここでワントラブルあったので油断は出来ない。
……と思いきや、あっさり普通に見えた。
30 July 2013 3:40 AM
テストバックアップの実行。
これもあっさり終了。
30 July 2013 3:45 AM
本チャンバックアップの実行。
特に問題なく始まるところまで確認し、対応完了。
ラストの方はかなりあっけなく終わった感じ。
おかげで、始発には勝てたぜ！
そんなこんなで、付近のホテルに泊まりに行ったメンバーと別れ、私は帰ってきたのでした。
時刻とかかなり適当だし、実は途中でメンバー入れ替わってたりもするけど、まぁ気にしない。
ラストまで一緒に対応いただいたお二方、お疲れ様でした！
今日も出勤、大変ですがよろしくおねがいします！
なお、私は今日振休取得だよ！
相変わらず、私が対応する障害は狙いすましたかのように私の休み前に発生するな！
今しがたようやく対応終わったよー＼(^o^)／
29 July 2013 10:00 AM
始まりは、ごくありふれたオペレータコールであった。
「チョリーッスｗｗｗｗなんかーwwｗwテープ交換しようと思ったらーｗｗｗｗエラー出てできなかったんすけどｗｗｗｗマジウケるｗｗｗｗ」
そんなオペレータさんからの電話を、私から先輩にエスカレーション。
「おｋ。どうせ大したことないから、こっちで対応しとくわ」と頼もしい先輩のお言葉を承る。
29 July 2013 01:00 PM
バックアップジョブがこける。
29 July 2013 01:15 PM
「嫌なこと言ってもいい？」という前置きと共に、先輩から告げられた言葉。
曰く。
「 ハ ー ド ウ ェ ア 壊 れ て る か も し れ ん ね 」
それが、全ての始まりを告げる鐘の音であった。
29 July 2013 01:45 PM
IBMコール。
29 July 2013 02:00 PM
別件にて先輩が全く動けない状況なので、他メンバーにて対策を検討。
メンバーの年次は以下の通り。
４年目（私/バックアップされる側の主担当）、３年目（バックアップサーバの主担当）、２年目（バックアップされる側の副担当）、１年目（配属１ヶ月/バックアップサーバの副担当）。
メンバーからして既に若干の不安が漂う。
とはいえ、私と１年目の人以外はそれなりに経験を積んだ猛者である。
とりあえず、ハードウェア故障だとして、交換を今日やるのか明日やるのかを協議。
この時、本心では誰もが明日での対応を望んでいたと思われる。
なぜならば、結局ド深夜まで及んだ前回の同じ対応が頭をよぎったためである。
ぶっちゃけ２つあるドライブのうち１つが壊れただけなので、縮退運転すれば基本影響はないのである。
しかしまぁハードウェア故障ですしお寿司、万一もう片系もぶっ壊れたら目も当てられんし、ってなわけで今日実施することに。
後に、前回の対応などまだまだド深夜と言うに及ばないと思い知らされる事を、この時誰も想像だにしていない。
29 July 2013 03:00 PM
手順確認や、IBMとの調整。
IBMの話によると、17時開始で4時間程度の作業見込みとのこと。
予定では21時終了。
最初に走り始めるジョブが21時半なので、かなりギリギリである。
しかし、それ込みでもやはり本日実施に決定。
なお、最終的に21時半とかそういうレベルではなくなるという事を、この時誰ｍ（ｒｙ
29 July 2013 05:00 PM
IBM到着。
なんか入館で揉める。
29 July 2013 05:45 PM
自社打ち合わせのため、私は一時的に帰社。
29 July 2013 07:00 PM
打ち合わせから戻る。
交換どころか、まだ調査すら終わってないとの報せを受ける。
既に私の中では嫌な予感が全力で警鐘を鳴らし始めていた。
29 July 2013 08:30 PM
交換作業開始。
お、おぅ。
予定終了時刻まであと１時間やけど大丈夫か？
無論大丈夫なわけはなかった。
29 July 2013 22:30 PM
交換作業終了。
しかし、交換した部品が更に壊れていたため正常稼働確認出来ず。
ま た か ！
なんなの？ 部品蹴飛ばしながら持ってでも来てるの？
とはいえ、前回の反省を生かし今回は予備の部品も持ってきてもらっている。
しかし、時既に22時半。
ここからまた2時間半とかかけて交換対応するのは現実的じゃない。
というわけで、結局縮退運行する方向で調整開始。
この時、「終電って何時なんですか？」「０時前かな」「余裕ですね」等の会話が交わされる。
終電余裕どころか、始発とどっちが早いか競うことになろうとはこの時誰ｍ（ｒｙ
29 July 2013 23:00 PM
動作確認準備完了。
失敗。
テープの情報収集が上手くいかない。
とっくに帰った先輩に電話で助けを求める迷惑行為等で調査を進める。
29 July 2013 23:30 PM
最終的に、結局壊れてる方のドライブでテープの情報を収集しようとした結果失敗していたらしい。
そしてここから、長い戦いが始まる。
ここから先の事は、正直よく覚えていない。
時刻は記さず、ただ思い出せることだけを羅列していこう。
とりあえず壊れてる方のドライブを完全に抜いてみる。
テープの情報収集に失敗するどころか、そもそも収集が走らなくなる。
デバイスの認識がおかしいのではないか？
サーバを再起動する。
変わらない。
今度はデバイスを逆にして両方付けてみる。
走らない。
デバイスの環境設定を変えてみる。
走った！
あれ、でも結局失敗してね？
ていうか、なんか１つ１つのテープ読むのにすげぇ時間かかるようになってね？
途中で停止？ 出来ん。
強制停止？ しようとすると、テープの位置がわかんなくなるからやっぱ出来ん。
終わるまで待つ？ 何時間かかんねん。
なんか、徐々に状況悪化してね？
とりあえず、テープ出た瞬間を狙いしましてIBMがプッツン対応。
サーバを再起動。
テープの情報収集が失敗するように。
よし、ようやく振り出しに戻ってきた。
30 July 2013 3:00 AM
これまでの長きの戦いの中で、我々はようやく問題の核心に迫ろうとしていた。
それまでのおっかなびっくり、トライアンドエラーの姿勢とは明らかに異なる、確信を持った手付き。
そして我々は……ついに、テープの情報が正しく収集されていく様をその眼に焼き付けた。
第一関門、突破！
30 July 2013 3:30 AM
無事全てのテープの情報収集が完了。
そして第二関門、サーバを跨いでのデバイスが見えるかどうか。
本来であれば特に問題のない箇所であるが、前回はここでワントラブルあったので油断は出来ない。
……と思いきや、あっさり普通に見えた。
30 July 2013 3:40 AM
テストバックアップの実行。
これもあっさり終了。
30 July 2013 3:45 AM
本チャンバックアップの実行。
特に問題なく始まるところまで確認し、対応完了。
ラストの方はかなりあっけなく終わった感じ。
おかげで、始発には勝てたぜ！
そんなこんなで、付近のホテルに泊まりに行ったメンバーと別れ、私は帰ってきたのでした。
時刻とかかなり適当だし、実は途中でメンバー入れ替わってたりもするけど、まぁ気にしない。
ラストまで一緒に対応いただいたお二方、お疲れ様でした！
今日も出勤、大変ですがよろしくおねがいします！
なお、私は今日振休取得だよ！
相変わらず、私が対応する障害は狙いすましたかのように私の休み前に発生するな！