カテゴリーアーカイブ: 運用管理

1800コネクション

投稿日時: 投稿者:
返信

irc2.2ch.netのつながり具合が悪いそうだ。

対策をしないといけないので久しぶりに様子を見たら、ピーク時に約1800コネクション張られていた。

ちなみに、こんなサーバです。

irc2.2ch.net

ThinkPad 240の旧型。でも、CPU的にはガラガラなので、古い時代のインターネットのプロトコルって軽いんだなーと、あらためて感心した。

今回のシステムダウン

投稿日時: 投稿者:

月曜恒例のシステムダウン… なんかホッテントリに入るとダウンしてるような気がする。

今回はファイルサーバのRAIDがおかしくなった模様。RAIDの2つが飛んだので、ダウン。無理やりの再構成をしたら、ウェブサーバのイメージが損傷していたので、それを復元するのに時間がかかった。

ということで、メモ代わりにやったことを書いておく。
続きを読む →

postfixのincomingが溜まりまくる

投稿日時: 投稿者:

例によってXen絡みのkernel panicで早朝システムダウンをする。

「例によって」と書くくらいだから、もう対処も慣れっこになっているのだけど、今回は/varのイメージファイルがおかしくなったらしく、fsckが正常終了しない。reiserfsなので、–rebuild-treeを指定して、ようやく修復出来た。もちろんいろいろlost+foundに落ちたのだけど、全部メールのキューなので「まぁいいか」と無視することに。このサーバに来るメールは99%以上spamだし。

それは良いんだけど、なぜだかメールの処理がおかしくなる。症状としてはincomingまでメールは届くのだけど、ユーザには配送されない。
続きを読む →

サーバ落ち

投稿日時: 投稿者:
返信

今回はハードウェア障害。

いきなりファイルサーバの電源があぼーん。一応余裕を見ておいたのだけど、気温には勝てなかったようだ(気温が上がると使える容量は減ります)。

買い置きがなかったので、ツクモに行って似た電源買って交換して… とやって6時間ほどダウン。意味なくRAID再構成が走ってしまったので2時間ちょい無駄にした。もちろんファイルサーバと関係ないサーバは落ちてないので、某サービスは平気だけど。

今日から会社を夏休みにしたんだけど、初日にこうだもんなぁ。旅行とか当分無理だね。

Xen弱過ぎ

投稿日時: 投稿者:

またサーバがぶっこける。

今回はwebサーバのXenがコア吐いて死んでいた。

Xenって、ちょっと負荷が高くなるとこうなるのよね。いろいろアレなことも少なくないので、Xenはやめようかと何度も思う。とは言え、準仮想化でfreeで程々安定しているというのはXenしかない感じなので、なかなか捨てるのも難しい。「程々安定」ってのがタチ悪いとも言えるんだけど。