ファイルサーバのRAIDがすっとぶ。

あれやこれや、かなりインチキなことをしつつ、なんとかほぼ全てのファイルを救い出す。RAID5で2本飛んでいる旨のメッセージが出た時には、目の前が暗くなった。幸いなことに、本当のハードウェア障害ではなかったので、無理やりの復旧で元に戻した。

「無理やりの復旧」が気持ち悪いので、バックアップを取って構成を組み直すことに。ついでに領域の拡張やら再設計やらやった。また、「バックアップ」をするために、2TBばかりディスク増設するはめにも orz

救出出来なかったのは、会社とうさぎSNS用に使っているXENのイメージファイル。なぜだかfsckも出来ないくらい破壊されていた。/ は生きてるのに、/var が死んでいるというのも不可解。

まぁ被害がそれだけで済んだというのは、不幸中の幸いではあるけれど。

ディスクの増設までしたものだから、6TBのファイルサーバとなった。2TBくらいしか使ってないんだがな。

TBオーダのファイルを操作すると、それだけで何時間もかかるというのが、なかなか大変。お陰で復旧するまでに1日以上かかってしまった。

PS.

fsckも出来ないvarは、かなりインチキをしてfsckすることに成功した。

エラーメッセージを見ると、どうやらfsckが信用しているポインタが壊れていて、領域の外を指しているようだった。「だったらとりあえず領域の中にすりゃいーじゃん」ということで、ddでイメージを拡張し、120GBばかり拡張したところで、fsckが起動(元々は10GB程)。最高レベルでfsckをかけて、なんとかいくつかのディレクトリは復旧させることができた。その結果、復旧が必要なのは「うさぎSNS」だけとなった。いくらゴミになってしまったイメージであっても、あわてて消さないというのは大事なようだ。まぁ消すのはいつだって出来るわけだから、全部の作業が終わってからでいいわけだし。

まぁ「うさぎSNS」の方はコンテンツ自体はDBの中にあって無事(なはず)なので、動作環境と素材を復旧させれば何とかなるだろう。