どうも、こんにちは!カラミティです。
定期的にサーバの状態を確認していますが、またしてもミラーがremoveに状態
なっていることが判明しました。
まあ、これみたとき「また!?」と思っちゃいました。
ディスク自体が本来は新品にすべきのところお金ないのでジャンクでやっちゃったから
壊れたかなーと思い、取りあえずまずはディスクでI/Oエラーがでていないかを確認
しました。
でも、ログをディスク交換後からさかのぼっても確認しても特にディスクでエラーは
検知してません。
はて?なんでディスクがミラーから解除されてるんでしょ?
fdiskでディスクを確認しましたがちゃんと見えてます。
# fdisk -l | grep /dev/sdb
Partition 2 does not start on physical sector boundary.
Disk /dev/sdb: 465.8 GiB, 500107862016 bytes, 976773168 sectors
/dev/sdb1 * 2048 968402943 968400896 461.8G fd Linux raid 自動検出
/dev/sdb2 968404990 976771071 8366082 4G 5 拡張領域
/dev/sdb5 968404992 976771071 8366080 4G fd Linux raid 自動検出
#
うーん。。。取りあえず、ディスクをミラーに組みこんでみます。
# mdadm --add /dev/md0 /dev/sdb1
mdadm: Cannot find /dev/sdb1: No such file or directory
え?/dev/sdb1が見つけられないようです。。。
/devを確認してみます。
# ls -l sd*
brw-rw---- 1 root disk 8, 0 6月 3 10:02 sda
brw-rw---- 1 root disk 8, 1 6月 3 10:02 sda1
brw-rw---- 1 root disk 8, 2 6月 3 10:02 sda2
brw-rw---- 1 root disk 8, 5 6月 3 10:02 sda5
brw-rw---- 1 root disk 8, 16 6月 3 10:02 sdb
brw-rw---- 1 root disk 8, 32 6月 3 10:02 sdc <---これ
brw-rw---- 1 root disk 8, 33 6月 3 10:02 sdc1
:
はい、これが原因です。
sdaは1,2,5といるのに対し、sdbには1,2,5がいません。
何かしらの問題?でデバイスファイルが消えてしまったようです。
デバイスファイルを再作成してやればうまくいくと思いますので早速再作成と、
言ってもなんか気持ち悪いのでもう一度稼働ディスクからパーティション情報を
作成する形でデバイスファイルをもう一度作らせることにしました。
# sfdisk /dev/sda | sfdisk /dev/sdb
この後、もう一度/devを確認します。
# ls -l sdb*
brw-rw---- 1 root disk 8, 16 6月 4 10:50 sdb
brw-rw---- 1 root disk 8, 17 6月 4 10:51 sdb1 <---
brw-rw---- 1 root disk 8, 18 6月 4 10:50 sdb2 <---
brw-rw---- 1 root disk 8, 21 6月 4 10:51 sdb5 <---
これでもう一度ミラー復旧を試します。
# mdadm --add /dev/md0 /dev/sdb1
# mdadm --add /dev/md1 /dev/sdb5
で、ここでまた /dev/md1 がread-onlyということでsdb5をミラーに参加できません。
なので
# mdadm -R /dev/md1
を実行してそのあとに/sdb5をミラーに参加させてうまくいきました。
# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Sat Apr 12 13:16:50 2014
Raid Level : raid1
Array Size : 484069184 (461.64 GiB 495.69 GB)
Used Dev Size : 484069184 (461.64 GiB 495.69 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Sun Jun 4 13:56:42 2017
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Name : ******:0 (local to host ******)
UUID : b7ee24f8:0091fe75:f3592070:19ef8b92
Events : 450898
Number Major Minor RaidDevice State
2 8 17 0 active sync /dev/sdb1
1 8 1 1 active sync /dev/sda1
# mdadm --detail /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Sat Apr 12 13:18:01 2014
Raid Level : raid1
Array Size : 4180928 (3.99 GiB 4.28 GB)
Used Dev Size : 4180928 (3.99 GiB 4.28 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Sun Jun 4 12:46:51 2017
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Name : ******:1 (local to host ******)
UUID : 17ad1941:2720bab8:577e1059:c2c6e8be
Events : 161
Number Major Minor RaidDevice State
2 8 21 0 active sync /dev/sdb5
1 8 5 1 active sync /dev/sda5
# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md127 : active raid1 sdh[1] sdg[0]
1953383360 blocks super 1.2 [2/2] [UU]
[======>..............] check = 34.7% (678779904/1953383360) finish=1474.5min speed=14406K/sec
md1 : active raid1 sdb5[2] sda5[1]
4180928 blocks super 1.2 [2/2] [UU] <---正常
md0 : active raid1 sdb1[2] sda1[1]
484069184 blocks super 1.2 [2/2] [UU] <---正常
unused devices: <none>
※md127は毎月1回第1周目の土曜日にディスク同期をさせるようにしています。
こちらは障害にはなってないですね。
しっかし、なんでデバイスファイルがなくなったんでしょね?
うーん。。。不思議ですが再発しないことを祈ります!
※一応予備ディスク1本あるので大丈夫ですけどね。
搭載できるスペースがあればスペアディスクとして設定しちゃうんですが・・・。
内蔵3.5に空きがないんですよね><;
では^^ノシ