Sirius -旧ブログ、更新されません-

グラタンの Raid も 300GB x 4 の Raid5、500GB x 4 の Raid5 構成から、1.5GB x 2 の Raid1 x 2, 500GB x 2 の Raid1 に変えました。なぜミラーかというと、Raid5 構成だと、本体が壊れたとき、HDD を他の Linux につなげて認識させることが面倒なためです。ミラーなら、Raid1 の HDD の片方をつなげてファイルシステムを指定してやればマウントできます。データの吸い上げが簡単なのです。万が一のことを考えて、Raid はミラーを使うことにしました。

こちらの速度なんですが、TeraStation よりちょっと遅く感じます。読み込みは 10MB/sec、書き込みは、場合によって 7MB/sec 位になってしまいます。まあ、倉庫代わりなので我慢します。

やってしまった！

グラタンの MTU は、1500 に設定されています。そこで、アクセス速度を上げるためにジャンボフレームを利用してみようと思いました。
調べたところ、/etc/network/interfaces に eth0 の記述があり、ここで MTU が設定できるようでした。
シリアルコンソールをつけていないので、ネットワークがこけたらアクセス不能になってしまう。そんな不安もありましたが、失敗を恐れていたら何も始まらない、玉砕覚悟で書き換えました。標準では
iface eth0 inet dhcp
となっているところに
iface eth0 inet dhcp mtu 9000
としてジャンボフレームの設定を追加しました。一応、手動で ifconfig してみて大丈夫なことは確認しました。
# ifconfig eth0 mtu 9000

さて、再起動。
…。
…。
…。

いくら待ってもネットワークの一覧にでてこないし、ssh もつながりません。やってしまいました。
さてどうするか。とにかく分解して HDD を取り出します。何につなげるか。

そうだ、Terastation なら raid が使えるから設定してやれば raid1 で認識するかもしれない。
そう考えて、内蔵していた 2 台の HDD を USB で Terastation につなげました。sda, sdb で認識しました。
Terastation のコンフィグファイル /etc/mdadm.conf に md2 を追加してスキャン。
…。
見つけられない。しょうがないので、それぞれを単体でマウントし、interfaces ファイルを一度 Terastation の HDD へコピーして MTU の記述を削除、そしてそれぞれの HDD へコピーしました。
これでうまくいくとは思えませんが、raid のリビルドが走るかもしれないと思い、HDD を元に戻し、グラタンを起動。

…。あれ、リビルドなしで動いちゃった。interfaces ファイルを書き換えたりしてもエラーになりません。ま、動いているからいいか。何回か再起動しても大丈夫。早いうちにシステムのバックアップをとらなくちゃ。

何とか無事に復旧できたようです。その後、手動で MTU を変えてファイルをコピーしてみましたが、MTU を 7200 にしても、9000 にしても転送速度に違いは感じられませんでした。
くたびれた。

4台での raid5 x 2 がうまく動いたのに気をよくして今度はスペアディスクを追加しようと思います。

NOVAC のはいーるKIT を新たに購入し(4 台目)、余っているHDD を 4 台内蔵させます。（余らせるために 500GB の HDD を購入したのはナイショです）

つなごうと思ったのですが、USB HDD って何台くらいつなげられるんだ？
USB HDD は SCSI 扱いなので、グラタンの /dev 以下の sd? を見ると あるのは sda 〜 sdh だけでした。つまり、8 台分です。
デバイスファイルを新しく作らなければと思い、試しに MAKEDEV してみましたがエラーになって作成されません。
しょうがないので手動で作成します。新しくつなぐ 4 台 + 1 で作っておきます。

mknod sdi b 8 128
mknod sdi1 b 8 129
mknod sdi2 b 8 130
mknod sdi3 b 8 131
mknod sdi4 b 8 132
mknod sdi5 b 8 133
mknod sdi6 b 8 134
mknod sdi7 b 8 135
mknod sdi8 b 8 136
mknod sdi9 b 8 137
mknod sdi10 b 8 138
mknod sdi11 b 8 139
mknod sdi12 b 8 140
mknod sdi13 b 8 141
mknod sdi14 b 8 142
mknod sdi15 b 8 143
：
mknod sdm b 8 192
mknod sdm1 b 8 193
mknod sdm2 b 8 194
mknod sdm3 b 8 195
mknod sdm4 b 8 196
mknod sdm5 b 8 197
mknod sdm6 b 8 198
mknod sdm7 b 8 199
mknod sdm8 b 8 200
mknod sdm9 b 8 201
mknod sdm10 b 8 202
mknod sdm11 b 8 203
mknod sdm12 b 8 204
mknod sdm13 b 8 205
mknod sdm14 b 8 206
mknod sdm15 b 8 207

はいーるKIT 2 台目をつなげて起動すると全部で 12 台になるので sda 〜 sdl になります。

スペアディスクにする HDD を FDISK でパーティションを切り、ID を fd にします。
スペアディスクの追加は、

mdadm /dev/md1 -a /dev/sdi1

の様にすることで追加できます。
内臓の raid1 と外付けの raid5 x 2 にそれぞれスペアディスクを割り当てました。

余った一台はデバイス名が変わってもいいように md3 にするため、linear にしておきます。

mdadm -C /dev/md3 -llinear --force -n1 -f /dev/sdl1
mke2fs -j /dev/sdl1

mdstat の内容は次のようになりました。
md3 : active linear sdl1[0]
       312568576 blocks 64k rounding

md1 : active raid5 sda1[0] sdf1[4] sdg1[3] sdd1[2] sdb1[1]
       878907648 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md2 : active raid5 sdc1[0] sdk1[4] sdj1[3] sdh1[2] sde1[1]
       732587712 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md0 : active raid1 sdi3[2] hdb3[1] hda3[0]
       292455168 blocks [2/2] [UU]

unused devices:
ところが再起動すると、外付けの raid にはちゃんとスペアディスクが割り当てられていましたが、内臓の raid には割り当てられませんでした。起動後に手動で割り当てれば大丈夫です。
内臓ははじめのほうで raid 認識するので、そのときにはまだ USB は認識できないのでしょう。内臓については障害が起きたときに手動でやるしかなさそうです。

ちなみに、この構成にさらに 1 台 USB HDD をつないで見ましたが、大丈夫でした。

USB 外付けで raid5 を稼動させているグラタンにさらに raid5 を追加ししました。
今度は、250GB 4 台を搭載した Terabox でやりました。いまこそこうして Terabox が動いていますが、私とTerabox は相性が悪く、一台目のTerabox は、はじめにうまく動かず、Century の HP にあった Firmware をあててやっと動きました。
二台目の Terabox は、通電→「バシッ！」→ HDD クラッシュ。4台の HDD をデータとともに死亡させ封印。それ以降 Terabox は買わず。今動いているものも、内蔵した HDD が死んだら廃棄予定。
一方、NOVAC の はいーるKIT は相性がよく、一度も問題を起こしたことがありません。電源容量的に厳しい Seagate 4台でも動いています。これで Power LED がもうちょっと暗ければ文句なしなんですが。輝度の高い青色 LED なので目につき刺さる。

しかし、ムービーとかを保存していると、ちょっと容量不足になってくるので、また NOVAC のはいーるKIT を買ってきて、余った Terabox をグラタンにつなげました。
4 台で raid5 の構築は前回同様なので省略しますが、ひとつ困ったことがありました。
それは、デバイス名が固定されないということです。はいーるKIT 一台だけのときは、sda 〜 sdd でしたが、Terabox をつなげたら、

はいーるKIT sda, sdb, sdd, sdf
Terabox sdc, sde, sdg, sdh

しかもこれで落ち着くわけではなく、変わることもある。
で、前回作成した mdadm.conf を修正しなければいけないことがわかりました。

mdadm --detail --scan

で出力されたものを設定ファイルに書き込んでいましたが、例えば

ARRAY /dev/md1 level=raid5 num-devices=4 UUID=xxxxxxxx:xxxxxxxx:xxxxxxxx:xxxxxxxx
  devices=/dev/sda1,/dev/sdb1,/dev/sdc1,/dev/sdd1

となっている device= の行があるとそのデバイスしか検索に行きません。
デバイス名が変わる場合、raid セットが不完全になるため　device= 行は設定ファイルでは削除したほうがよいということです。
mdadm.conf の最初の行に
DEVICE /dev/hd*[0-9] /dev/sd*[0-9]
を書いておけば全部のデバイスを検索に行きますから大丈夫です。

これで問題は無くなりました。

ちょっと気になったので raid にしない場合のグラタンの USB 外付け HDD の速度を調べてみました。

Seagate の ST325082 をつなげました。250GB です。将来的には、スペアディスクとして もう一台　300GB の HDD をつなげようと思っています。

Seagate の HDD を EXT3 でフォーマットし、マウントして samba で共有します。

で 8GB の一個のデータをコピーしてみました。

PC -> 外付け が 10.0 MB/s
外付け -> PC が 9.7 MB/s

でした。

ちょっと表にしてみましょう

グラタンの転送速度(MB/s)

コピー元	コピー先	転送速度
PC	内臓(raid1)	8.4
PC	外付け(raid5)	6.0
PC	外付け	10.0
内臓(raid1)	PC	12.8
内臓(raid1)	外付け(raid5)	6.1
内臓(raid1)	外付け	11.8
外付け(raid5)	PC	10.0
外付け(raid5)	内臓(raid1)	8.8
外付け(raid5)	外付け	8.3
外付け	PC	9.7
外付け	内臓(raid1)	9.1
外付け	外付け(raid5)	5.9
環境： 　PC：Pen4 2.6GHz RAM:2GB 　LAN：1000BASE-T

さて、面白いのが、PC -> 外付け、外付け -> PC、外付け(raid5) -> PC の転送速度が 10.0MB/s でほぼ同じということ。USB バスの転送速度が MAX でこの近辺なのではないでしょうか。また、raid5 の読み出しは書き込みほど負荷がかからないようにも読み取れます。
内臓 -> PC の転送速度が最高速になっています。同様に、読み出しについては負荷はかかっていないようです。
内臓の HDD をもっと高速なものに変えれば読み出しは、もっと高速になる可能性がありますが、発熱の問題があるのでジレンマです。
もっと高速な CPU を積んでいれば、書き込みが高速化されそうです。raid の計算を高速化するパッチもあるそうですが、すでに大量のデータをコピーしてしまったのでパッチを当てる度胸はありません。

結論。
USB の転送速度は、約 10 〜 12MB/s。
raid1 の書き込みは、約 8.5 〜 9MB/s。
raid5 の書き込みは、約 6.0MB/s。
読み出しについての raid のオーバーヘッドは、無視しても構わない程度である。
外付け raid のボトルネックは、書き込みは raid5 のパリティ生成。読み出しは USB バス。ということのようです。


今年も後もう少し、来年もいろいろやりたいと思いますので、よろしくお願いします。

raid5 で運用しているグラタンの外付け HDD。だいたい半分の 400GB 強埋まった状態です。問題が出るかな〜と思っていましたが、意外と安定して動いています。大丈夫そうなので、元データを消しました。

KURO-BOX に 2 台の USB HDD をつなげるとうまく動かないのを経験しているので心配しましたが、杞憂でした。

もうちょっと安ければもう一台欲しいくらいです。

グラタンの転送速度ですが、WinXP(CPU:Pen4 2.8GHz RAM:1GB LAN:1000Base) マシンから 7GB ほどのデータを一個コピーすると、わたしの環境で、PC -> 内臓 HDD(raid1) への転送が 8.4MB/s 、内臓 -> PC が 12.8MB/s 位で、PC -> USB 外付け HDD(raid5) が 6.0MB/s、USB 外付け -> PC が 10.0MB/s でした。内臓が発熱が低い 5400rpm のものを使っているので、それほど速くありませんが、USB 外付けもそれからするとがんばっているんじゃないかと思います。倉庫代わりに使うので問題ない範囲です。
ちなみに、1.8GB ほどのデータを一個コピーすると、内臓 -> 外付けが 6.1MB/s、外付け -> 内臓が 8.8MB/s、でした。
う〜〜ん。遅いのは、USB バスがボトルネックになる以前に、raid5 のパリティ生成が原因かなあ。今度、素の USB HDD で試してみるかなぁ。

内臓は、Maxtor 5A300J0 (5400rpm) x 2。
外付けは、前に書いたように
Maxtor 6L300R0 x 2
Maxtor 5A300J0
WestanDigital WD3000BB です。

次は何をしましょうか。グラタンのページでも作ろうかな。

昨日、書き忘れましたが、はい〜る KIT はコンバインモードは使っていません。4台別のノーマルモードで使っています。TERABOXもそうですが、一台壊れると全滅するコンバインモードは怖くて使えない小心者です。

raid の構築に約 26 時間ほど。やはり内臓に比べ遅いですね。ま、倉庫代わりと思っているので何とか使える範囲でしょう。

構築が終わったら、ext3 でファイルシステムを作成します。

# mke2fs -j /dev/md1

容量が大きいのでこれも時間がかかりますが、ちょっとほかの作業をしていれば終わります。また、tune2fs を使って、勝手に fsck をしないように設定しておきます。

# tune2fs -O 0 -i 0

ファイルシステムを作ったらマウントしてみます。

# mount /dev/md1 /share/usb

エラーもなくマウントできました。

起動時に自動的にマウントするように設定します。通常は、/etc/fstab でマウントするように書くのですが、USB の外付けのため自動マウントはしません。fstab で自動的にマウントさせていると、そのディスクにアクセスできない時に、メンテナンスモードになってしまいます。シリアルコンソールが無いと対処できなくなってしまいます。今回は、マウントがし易いように書いておくだけです。

/dev/md1 /share/usb ext3 noauto,defaults,rw 0 0

を追加しておきます。

じゃあ、どこでマウントさせるかというと、起動時に実行される rc2.d 内に shell スクリプトを書いておきます。実際には、/etc/init.d に local.sh という次のような内容のファイルを作ります。

# check and mount /dev/md1
/sbin/mdadm -As
if
grep md1 /proc/mdstat >/dev/null
then
mount /share/usb
fi

そして実行属性をつけます

# chmod +x /etc/init.d/local.sh

シンボリックリンクで rc2.d 内にリンクします。

# ln -s /etc/init.c/local.sh /etc/rc2.d/S99local.sh

これで起動時にマウントできるはず。再起動・・・。

あれ？マウントされていない。mdstat を見ると md0 (内臓のミラー) しかない。あれっ？ /proc/scsi/scsi を見てみると、HDD は認識されている。
？？？
ちょっとはまりました。

いろいろ調べて、mdadm の設定ファイルに新しい raid セットを追加しないといけないようです。グラタンの設定ファイルは /etc/mdadm/mdadm.conf なので次のようにします。(念のため、もともとある設定ファイルはバックアップしてから書き換えてください)

# echo 'DEVICE /dev/hd*[1-9] /dev/sd*[1-9]' > /etc/mdadm/mdadm.conf

これで内臓、外付けのすべてのパーティションを mdadm がスキャンするようにします。次に、スキャンして raid セットを書き出します。

# mdadm --examine --scan --config=/etc/mdadm/mdadm.conf >> /etc/mdadm/mdadm.conf

これで md1 ができるかどうか確認します。

# mdadm -Asa

md1 が見つけられたら成功です。再起動・・・。
うまくマウントされたようです。はい〜る KIT は USB と電源連動させているので、グラタンをシャットダウンすると一緒に電源が切れます。便利！

さて、これからデータの移動か・・・。どのくらいかかるかな〜。

お久しぶりです。
いやーー、だいぶ間があいちゃいました。ごめんなさい。
VAIO の typeU を買っちゃったり、いろいろ書くことはあったのですが、サボっていました。

さて、挑戦者のグラタンですが、300Gx2 をミラーで使っていたのですが、容量が不足気味になってきました。内臓 HDD を交換してもよかったのですが、手持ちで空いている HDD が 300Gx2 なので、交換しても意味がありません。
じゃあ、USB で外付けにっていう手もありますが、ただ外付けにしただけでは面白くありません。

せっかく内蔵をミラーで使っているしグラタンには初めから raid5 のモジュールも組み込まれているので、外付けも raid5 あたりで使いたい。まあ、単純に外付け 4 台でもいいのですが、場所をとるのと、ただ raid にするのは面白くない。

そこで、TERABOX もあるのですが、これは使っているので、今回は、novac の 「4台はい〜るKIT」を使ってみました。(ま、いいんですけど、このネーミングセンスはちょっと・・・。安かったんだけど)

「4台はい〜るKIT」と、300Gx2 の HDD を購入。計 37,000 円ほどの出費。えーーい、趣味ですよ。趣味！
それ以外に、SD2G が 5,000 円だったのでこれも買っちゃいました。(オイッ)

早速、はい〜るKIT に 4 台内蔵させ、グラタンにつないだところ、sda 〜 sdd で認識しました。
fdisk で 1 パーティションにして、ID を fd にします。
次に mdadm を使って、4 台を raid5 に設定します。

# mdadm -C /dev/md1 -l5 -n4 -f /dev/sd[abcd]1

これで raid5 の構築が始まります。
/proc/mdstat を見ると構築の様子がわかります。

# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid5]
md1 : active raid5 sdd1[3] sdc1[2] sdb1[1] sda1[0]
878907648 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
[>....................] resync = 0.0% (234624/292969216) finish=1553.7min speed=3138K/sec
md0 : active raid1 hdb3[1] hda3[0]
292455168 blocks [2/2] [UU]

unused devices:
え" 1553 分？！
一日で終わんないじゃん。
また HDD のエージングか〜。
明日へ続く・・・。

内蔵したHDDは、
Maxtor 6L300R0 x 2
Maxtor 5A300J0
WestanDigital WD3000BB
です。ま、寄せ集め。ソフトウェア raid なので気にしない。

グラタンに内臓した Maxtor の HDD ですが、ものすごく熱くなります。
DiamondMax Plus 9 (型番 6Y160P0) なので今はもう販売されていないと思います。Maxtor は爆熱と聞いていましたが、熱いと思っていた Seagate よりも熱を持つようです。ただ、Maxtor でも最近のものはそうでもないと聞きます。

hddtemp でみると、玄箱に内蔵したSeagate ST380021A が 45 度、同じく玄箱に内蔵した SAMSUNG HA250JC が34 度、グラタンの Maxtor 6Y160P0 が 53 度と 60 度(横置きにしているので、上の方の温度が高くなっている)。

Seagate と比べても 10 度は温度差があります。常時電源 ON はつらそうです。ちなみに、いちばん温度の低い SAMSUNG の HDD は、5400 回転です。
NAS に内蔵させるのは、5400 回転のほうが、熱と静音性で有利みたいです。

夏場に向けて、温度がやはり心配なので、このサーバーの HDD も 5400 回転の HDD に変更したほうがよさそうです。手持ちの 40GB があるので、暑くなる前に交換しようと思います。

また、HDD の温度を下げる方法として、HDD をスピンダウンさせる方法があります。30 分アクセスが無い場合、スピンダウンするような設定で現在使っています。ところが、いろいろな HP をみると、下手にスピンダウンすると、HDD を壊してしまうと書いてあるページもありました。いまのところ、うちでは大丈夫ですが、実際のところはどうなんでしょう。なお、スピンダウンさせているもののほとんどは、HDD が横になるように設置しています。

更新が滞ってしまいました。
去年と比べ、仕事量が増えてしまって余裕がなくなってしまい、更新をサボっていました。今のところ、まだ余裕が無いのですが、HPを閉鎖するつもりはありませんので、なが〜い目で見てやったください。

さて、挑戦者の GLAN TANK を買っちゃいました。ヨドバシカメラで、24,800 円でした。ポイントは 10 ％しかつきませんが、IO プラザで買うよりは安いかと。

で、感想ですが、セットアップがめちゃくちゃめんどくさいです。
PC に HDD をつないでセットアップしなくちゃいけないし、組み立てが大変な上に、これ、ばらすこと考えていないよ。一度組み立てたら、HDD が壊れでもしない限り、ばらしたくありません。

デスクトップに HDD をつないでセットアップするのですが、安全のため、もともとの HDD を全部はずし、グラタンに内臓する HDD だけにしました。
Maxtor の 160 GB を 2 台内臓させ、JOBD で動かすつもりです。

はじめの予想では、PC で JOBD のフォーマットまでやるのかと思っていました。しかし、PC での作業は予想外に早かったし、ディスクの選択も 1 台しかできませんでした。思えばこのときに気づくべきでした。

で、おかしいなあと思いながら、グラタンに内蔵させ、起動。普通に起動するものかと思ったら、電源ランプが消え、アクセスランプが点滅し、ピッピッピッ、と警告音が…。えっ！？何か間違った？不安がいっぱい。それでもしばらく待って、状態が変わらなかったので、一度電源を OFF に。
警告音は止まったけど、アクセスランプの点滅は変わらず、ファンも回転したまま。電源の ON/OFF を何度か繰り返しましたが状況は変わらず。コンセントから引っこ抜くしかないのかなと思いましたが、引っこ抜く前に、挑戦者の HP へいってマニュアルを見たら、初回の起動で、アクセスランプが点滅し、警告音がなるのが正常で、ディスクによっては、20 分位かかると書いてありました。フォーマットはここでするらしい。

え〜、電源スイッチを OFF にしちゃったよ
警告音は止まってしまいましたが、電源はまだ切れていません。ひょっとして、まだ大丈夫かも。アクセスランプの点滅を見ていると不安になるので、ここは放っておいて、風呂に入ることにしました。

風呂から上がってくると電源は切れていました。不安いっぱいでしたが、電源 ON。無事電源ランプがつき、しばらくすると、アクセスランプも消えました。早速、デスクトップを組みなおし、管理 web ページを開きます。
大丈夫でした。

マニュアルをよく見ると、電源を切るときは、アクセスランプが消えているときに電源スイッチを切れと書いてあります。電源スイッチを切ると、シャットダウンが走り、少しすると、電源が切れるそうです。電源スイッチは、I/Oがあるシーソー型のメカニカルなスイッチですが、物理的に回路を切ってしまうのではないようです。

ここで思いました。電源断はソフト的にやっているに違いない。早速、telnet でログインし、コマンドを探しました。ありました、poweroff コマンドが。電源スイッチは ON のままで、poweroff コマンドを実行すると、電源が切れました。

なるほど、この状態で、リモートから ON にできないかな。そう、Wake on LAN をやってみよう。結論。できました。WOL ができるとなると、グラタンはほかの部屋においても大丈夫です。この点は玄箱や LinkStation より便利です。

今日の教訓。電源 OFF の前にマニュアルを読もう。