システム保守担当者の悲鳴 -9ページ目

システム保守担当者の悲鳴

メインとして仕事として軽く見られがちな、システム保守(維持管理)について書くつもりです。
システム屋さんは開発だけが仕事じゃ無いんです。。。

ある日、俺が担当していたシステムにおいて、システムが停止してしまう可能性がある状態を発見された。
このときの顛末を書く。

システム保守の体制は以下。
・お客さん:システムを使用して業務を行っている人たち(2000人くらいいるらしい)
・元請会社:俺を雇っている元受会社で、実質システム保守はやっていない。
      このシステムの管理を行っている。このシステムにかかわる人は1名。
・下請会社:俺たちの立場。元請会社から契約を受けてシステム保守をしている。
      俺が実質のリーダーで、他2名のメンバーがおり、計3名で保守している。
      元請会社からの依頼やお客さんからの依頼を受けて、システム保守を行っている。

ある日、俺はこのシステムに関係するパッチ適用(OSのパッチ)が問題ないか、別の作業場所にて
パッチ適用後の検証作業を行っていた。
3日がかりの作業であるため、朝一で別の作業作業場へ移動していた。
元請会社の人は、メンバーと同じ場所で仕事していた。

この日の午前中にメンバーがシステム保守の調査を行っていたところ、DBのデータ使用領域が
90%を超えていることに気づいたらしい。
このまま、DBのデータ使用量が増加すると、DBが止まりシステムが停止してしまう。
かつ、過去に同様の事象が発生したことが無く、停止してしまった場合、リカバリできるのか不明であった。

ようは、システムが停止してしまうような事態が目前に迫っていることが分かった。
で、残っていたメンバー2名で話合った結果、俺が戻ってくるまで待つことに決めたらしい。

夕方に俺は、その日の検証作業に目処をつけ、帰ることとしたが、帰る前にメンバーへ電話し、これから
帰ることの連絡と、今なにか問題が起きてないか確認した。
メンバーからの回答は「何も起こっていない」とのことだった。


数時間後、俺が帰ってみるとメンバーはシレっと「DBのデータ使用領域がやばい」ことを報告してきた。

ちょっとキレかかりました。。。

メンバーは電話で何も言ってなかったし、元請会社の人への報告もしていない。
しかも時間は定時後。
午前中にやばいことが分かっていたのに、事象を放置した、ってなんすか?

メンバー2名のうち、1名は若いので仕方がないとしても、もう1名は俺より10歳くらい年上で、この業界の
仕事で言えば大先輩である。
この残念な大先輩が、俺の帰りを待つこととしたらしい。

万が一、システムが停止してたら、どうするつもりだったのか、聞いたら返事は無かった。
きっと停止したら「やっぱりね~」みたいに、他人事名対応をすることになってただろう。

俺としては、メンバーたちを信頼していたので、かなり残念だった。
分かった時点で俺に連絡するなり、元請会社の人に報告するなり、できただろうに。。。

俺からすぐに元請会社の人に報告し、緊急で暫定対応を行ったため当面の危機は去った。
後から、元請会社の人にはDBデータの領域逼迫警告メールが届いていたことが分かった。
元請会社の人は他の作業に気を取られており、警告メールに気づかなかったらしい。
(メールに気づかなかったでは済まない事象だと思うのだが)

対応後、メンバー2名を連れ出して、停止していたらうちらへの信頼は失われていたことを説明した。
また、今後はすぐに俺へ連絡すること、もしくは元請会社の人に報告することを強めにお願いした。
メンバーは反論があるような顔をしていたが、聞いても話してくれなかった。

一度失われた信頼感を取り戻すことは大変なことなのに、そのことをメンバー2名は
気にしていなかったようだ。

自分では当然と思っていることでも、メンバーたちは当然と思っていなかったことが
分かり、そういうことも含めて、説明、教育していくことが必要であることを痛感させられた。
また、メンバー2名はシステム保守担当者としての危機感が欠如していることに驚いた。

もし、このときの俺と同じような立場の人がいたら、今からでも緊急時の対応について、認識あわせして
おくことをお勧めする。


後日談
DBのデータ領域拡張について、お客さん、元請会社のサーバ管理者と協議し、領域拡張を行った。
かつ、警告メールの受信者を増やすことを行った。
これらが完了するまでに、3年費やすこととなった。。。
完了するまでの間、週3日の監視作業も行っていたので、かなりのシステム保守工数を
費やすこととなった。
システム開発時点での、データ量見積もりについて根拠が無かったことも判明し、あらためて
残念なシステム保守作業であった。。。