深夜3時のトラブル
一つ前の記事を書いているあたりで、そろそろ寝るかなと思ってちょっとだけメールを読んだ。
そしたらサーバダウンしてるよというメールが2通。ほぼ同時。いやな予感。
何でまた今日もこんな時間に。。
といっても気がついてしまったのだから調べないと、と思って監視プログラムで状態確認してみるとそのサーバのサービス軒並み CRITICAL って真っ赤に表示されとる。ほんとに落ちてるらしい。
ping 打ってみたら host down なんたらって出てくるのでネットワークの問題じゃなく、サーバ側の問題っぽい。
とりあえずそんなときに備えてリーダーがシリアルコンソールの設定をしてくれているので、シリアルコンソールでログインしてみる。
反応がないので break 信号を弱いほうから打ってみた。 一番弱い ^E cl0 で反応があった。
そこから操作できそうになったので、再起動してみた。
起動メッセージが表示されてきて、ディスクチェックらしきものをしているが途中で20分ほど止まってしまった。
それどうしたらいいの、、、、となって深夜3時半にリーダーに電話して起こす(笑)。いや笑い事ではないのだけど。
対象のサーバはファイルサーバとして使っているものだったのでデータが大量に載っており、そのためチェックに時間がかかっていることが判明した。
C^t
とすると進行状況が表示されると教わる。
夜中にたたき起こしてもいろいろ親切に教えてくれるという。人格者だなぁ。
それを聞いて気長に見守ることにしていると30分後くらいに進み始めて起動した。よかったー。
リーダーが言うには時間のかかるディスクチェックはバックグラウンドでやるようになってるはずなのになんでそうならない？？？とのこと。
それはまたあとで調査。
で、ほかのサーバにも再起動の形跡があって、おかしいなと言い合いつつも時間が時間なのでひと段落つけて寝ようとしてたら、会社で徹夜で作業していた人からメールが。
サーバルームのある建物の１F で作業してたらブレーカーが落ちちゃったらしい。
なるほど、サーバルームの電源もそれで落ちたのか。。
UPS の取替え作業中というこの隙間を狙ったかのようなタイミング。。。
UPS からはずされていたサーバたちが集団で再起動してしまったらしい。
ともかく原因わかって一安心。
パケットフィルターの state table
先日サーバの反応がなんとなく悪いなーと思っていたらサービス監視プログラムからアラートメールが大量に送られてきた。
なんでも会社のネットワークの入り口になっているサーバの1つに大量のコネクションが一気にきて、負荷が高くなっていたらしい。
しかも短時間に大量に来すぎて、パケットフィルターの state table の上限数値まで埋まってしまっていたらしい。
よく理解していないけど、state table はパケットのやり取りに必要なネットワークアドレスの割り出しを早くするためのマッピングテーブルらしい。
マッピングテーブルなので一定時間がたつと expire するのだけれど、それが間に合わずに埋まってしまうほどの勢いで、テーブルに空きが出るまで何かが待ってしまうという事態が起こっていたらしい。らしいばっかだけど。
そのときは社内ネットワーク環境整備チームのリーダーがなにかやって復旧してくれたのだが、次回おなじようなことが起きたときの対処法をメールで流しておいてくれた。
翌日の深夜3時ごろ、寝る前にメール読もうと思ったらまた大量のアラートメールが。
対処法メールの内容はルート権限で
1. pf_state_current コマンドで state table のどこまで使っているかを調べる。 2. 上限に達してるときは pfctl -Fstate コマンドでクリアしてやる。
とあるので、そのとおりに。
やってみたら落ち着いたのでよかったと思ってたら、 pf_state_current で見ているとその後もどんどん数値が増えていって15分間隔でまた上限に達してしまう。。。
仕方ないからもう何回か同じことしてみたけれどずっと起きて見ている訳にもいかないので、上のことをやるスクリプトを書いて cron に仕込んで寝た。
念のため悪さしたら停めてくれと報告メールも書いておいた。
翌日、リーダーに報告・相談をしたところおおむねそれでよいと。ちょっと設定値を変えたり state table の上限をさらに引き上げたりということになった。
どれも対症療法だなー。
あ、あとクリアするとそのタイミングでコネクションつながってるやつが切れてしまってあまりよくないらしい。
上限に達しているんであればどのみち、クリアしないことにはどうしようもないので今回はそれでいいらしいが。
その話のなかで重要なことが発覚。
スクリプト作っているときに pf_state_current と pfctl のパスがちょっと違うなーとは思っていたのだけど pf_state_current はリーダーが作ったコマンドだった。
そのコマンドは普通ないからー、と言われた。
Excel でペースト操作後に出てくるアイコンが邪魔なのだ
最近 Excel を使う機会が重なっています。
仕事用に使っているのは Excel 2007 というバージョンで、メニューインターフェースが以前に比べてあれこれ変わっているため、まいど大騒ぎです。
今日はコピー&ペーストをした後に、ペースト先のすぐ下や横のセルの上になにやらアイコンが表示されてしまい、マウスカーソルでセルを選べなくなるのに大分悩まされました。
セルが大きいところに表示されているうちは、アイコンを避けてセルの見えているスペースをクリックすればいいわけなのですが、セルの縦横のサイズを小さくしている場合はね、、、その上にアイコンが出てくるとセルよりアイコンのサイズの方が大きくて選べないのですよ。
カーソルキーで移動すればいいのですが、いちいちマウスから手を離してキーボード操作するのが面倒なんです。
この、ペースト後に表示されるアイコンの正体は貼り付けのオプション用のショートカット。
貼り付けたあとでも書式を選べるようにあるらしい。
こいつ。
こいつの名前が分からなくて検索するの結構時間を使ってしまった。
しかも判明した名前が「スマートタグ」というので、悔しさ倍増のおまけつき。
消し方は Office の「貼り付けオプション」表示を無効にする @IT を参考にしました。
バージョンは違えどほぼ一緒で、分かりにくいのは 2007 の場合オプション設定がどこにあるのか、というあたりか。 （メニューの一番左にある丸いオフィスロゴのボタンをクリックするとその中に [Excelのオプション] があります。）
すっきり！！
深夜のストレス
隣の部屋の人が、深夜に歌を歌うのがうるさくてしょうがない。
こっそり歌うならまだしも、音大生なのかオペラみたいなの歌ってて時折バイオリンとか弾きだすし。。
すごく迷惑だけど、どうやって話せばいいんだろ。
昨今は物騒だからトラブルになるとイヤだし、かといって泣き寝入りするには歌がうるさくて寝れないよ、ママン。
Livedoor Clip の機能改修とその後
時に情報収集のアンテナであり、時にメモ帳であり、時に引き出しであるソーシャルブックマークサービスは、自分にとってもはや生活に欠かせない道具となってきております。
そんなソーシャルブックマークサービスですが、私が使っているのは Livedoor Clip です。
bookmarklet で利用可能、タグによるカテゴライズができ、日本の会社のサービスなのが魅力です。
そんな Clip さんが先日プチリニューアルをなさいまして、コメント機能を強化したり、ユーザアイコンを表示してみたり、ユーザのコメントを吹き出しな見た目にしてみたりなさいました。
そのときついでに、クリップする UI からタグの選択入力をできないようにしてくださいました。…ユーザなみだ目。
変わりといってはなんですが入力支援機能が新たに追加されてはいました。
ですが、正直自分でも登録してあるタグを全部覚えているわけじゃないし、名寄せができないからタグ一覧から選ぶことができないと登録先が分散していってしまうですよ。
例えば perl と Perl は別なカテゴリになるので、perl の一覧を表示しても登録したつもりのものが見つけられなくて、あーうーとした挙句に Perl のカテゴリ以下に登録されているという。。。
そんな機能変更から数日は困った困ったいいながら登録してみたのですが、だんだん Clip 使うのが嫌になってきたと気がついた日、ついに「ご意見・ご要望」の入力フォームからお便りしてしまいました。
こんな行動にでたこと今までないだけに、自分の困り具合がよく分かりました。
すると翌日、ご丁寧に Livedoor Clip の中の人からご意見ありがとうのメールが届き、更に数日後にはタグの選択入力 UI が使えるようになりました。
コメント欄などにも同様の要望が多数のユーザから寄せられてたし、Livedoor の中の人のところには想像以上に多くのユーザから復活リクエストが届いたのではないでしょうか。
それにしてもこの対応スピードはすごいなと。
問い合わせならいざ知らず、ご意見・ご要望への返信がくるとは思っていなかっただけにあれだけ大きなサービスのところから翌日には丁寧なメールが来るし。
こういう速さは感謝しつつ見習わないとですな。