まず、次の文章は発表の場もなくワタクシが怒って書いたものそのままである。何しろ、閉鎖が決まってから、ここに取りあえず落ち着こうと決めたので、 goo ブログの使い方に慣れていないので許して欲しい。まだ字体の変え方に慣れていないんでね。
>>> ここから <<<
gmail の障害について書こうとした矢先、Doblog が止まった。まぁ、今時のクラウドに保存する情報の危うさというものをつくづく感じさせてもらった。
システムをいじくっているニンゲン、私にとってはごく日常のことである。だからあまり Doblog の運用スタッフについてあれこれ言いたくはない。所詮、Doblog はクラウドの一つとは言っても、たかが数台のPCサーバでシコシコ動かしているシステムなのである。
システムをいじくっているワタクシとしては、この経緯をどう読んだかを、推測してみたい。
まず第一報、何が起きたのかは全くわからない。わからないのはユーザの我々でもあり、たぶん運用スタッフもそうだろう。あれこれつつき回しているのだけれど、どうみてもレスポンスがないところを見ると、「最低」な状態になったということになるのかな。
>>
現在ハードウェアにトラブルが発生しており、復旧が難航しております。
ご迷惑をおかけしまことに申し訳ございません。
復旧の目処が立ち次第、追ってこの場でご連絡させていただきます。
皆様にはご迷惑をおかけしておりますことをお詫び申し上げます。
2009.2/8 12:42 Doblog編集部
<<
お、ここでハードウェアの障害だと認識したらしい。およそ１時間半、普通なんかのトラブルが出て、致命的なハードウェアのトラブルだと認識するまで１時間以上かかるわけがない。少なくともサーバー室とオフィスの居室が近ければ、「あれ？」と思えばサーバ室に行くのが当然なんだけど、 Doblog のシステムは編集部とは違うデータセンターにあるわけだから、当然移動の時間がかかるわけですよ。
>>
現在Doblogでは、データベースサーバーにハードウェア障害が発生しております。
ユーザーの皆様、ならびに閲覧者の皆様に多大なご迷惑をおかけしまことに申し訳ございません。
23：25現在復旧の目処はたっておらず、ハードウェアベンダー等の意見も踏まえ、明日正午迄を目処に
改めてご連絡させていただきます。
皆様にはご迷惑をおかけしまことに申し訳ございません。重ねてお詫び申し上げます。
2009.2/8 23:50 Doblog編集部
<<
第三報です。時間が泣かせます。 23:50 終電ギりです。おそらく、ハードウェア、特にディスクが逝っちゃって、ＣＥさんから「ご臨終です」を告げられた時の担当者の顔が目に浮かびます。当然ディスクなんてストライプしているからいくら冗長構成していても２個逝くともう駄目なんですよ。とかなんとか説明して、終電でとっとと帰ろうとしているベンダーのＣＥさんの無表情さが目に浮かびます。ＣＥさん見送った後、じゃあワシらも今日は何もできることないからさっさと終電で帰ろうか、という判断が 23:50 なのですね。今手配した手持ちの機材では何とかならず、ＣＥさん頑張ってサポートセンターの在庫を確認していました。どうやら明日の朝一番にはバイク便かなにかで壊れたパーツが届くということなのでしょう。
>>
ユーザーの皆様、ならびに閲覧者の皆様にはご迷惑をお掛けし
まことに申し訳ございませんが、復旧には数日を要する状況と
判断いたしました。
Doblogのデータベースサーバのハードディスクに障害が発生して
おり復旧作業を実施中です。
状況に関しましては、この場にて皆様にご連絡・ご報告させて
いただきます。
2009.2/9 12:00 Doblog編集部
<<
ＣＥさんが互換性のあるパーツを取り揃えて再起動はオッケー。だがシステムは起動できない。第４報、ここで、明確に「ハードディスク」が逝ったことを公表しています。たぶん全交換でしょうおか。これは長い戦いだぞ、とワタクシも思いましたよ。テープどれだべ。いつのが最新だ？このテープ１０本転送するのにどれだけ時間かかる？ なんだかそういう泥沼の闘いが始まる予感がしてきます。
まぁ、ハードディスクってのは一発タマが壊れたくらいでは何でもないのですが、２発同時に逝くとなると、たいていマザーボード系のトラブルが原因でタマが複数逝っちゃうのが通例ですから、相当ダメージがあるんでしょうね。
>>
Doblog編集部です。
この度はご迷惑をおかけし、まことに申し訳ございません。
復旧の目処ですが、順調に進んだ場合、13日(金)夜頃になると考えております。
長期間のサービス停止となり、重ねてお詫び申し上げます。
経過の状況等に関しましては、この場にて皆様にご連絡・ご報告させていただきます。
2009.2/11 16:00 Doblog編集部
<<
ここで、「順調に進んだ場合」という予測時間が示されます。今何Ｍｂ／Ｓｅｃで転送しているから、「順調に進んだ場合」あと二日はデータの戻しに時間がかかるんだなというと
ころでしょう。その間、Doblog 編集部がする仕事は「待つ」という過酷な仕事が残っているだけなんですね。
>>
Doblog編集部です。
サーバーの復旧過程でデータの不整合が発生しております。
現在、不整合の原因を究明中です。
復旧に関しましては原因究明後、報告させていただきます。
長期間のサービス停止となり、まことに申し訳ございません。重ねてお詫び申し上げます。
2009.2/13 12:45 Doblog編集部
<<
ここで、どうやら、バックアップメディアからデータが復旧したのですが、今度はソフトウェアの不具合が残っていてどうしても完全復旧できないという事態に陥ります。まぁワタクシはＤＢの専門家じゃないから、想像するだけなんだけどね。ＤＢを起動するときにどうしてもシツコイエラーが一つでてきて、それがソフトウェアのバグなのか、あるいはデータのバグなのか、データに何かフラグがあるので、それをクリアすればよいのだろうけどその方法を探してみても「バックアップからデータを戻せ」という答えしか返ってこないという状況なわけですよ。
>>
Doblog編集部です。
現在発生している状況、及び今後の予定をご連絡いたします。
2/8 10:00頃、Doblogのデータベースサーバー及び、バックアップサーバーの両サーバーにハードディスク障害が
発生し、当日より内部データの復旧作業を行っております。
現在も復旧作業を継続中ではございますが、当初2/13に復旧完了予定であったデータにエラーが発生、
2/13 21:50現在、翌週(2/16週)に延期せざるを得ない状況となりました。
長期のサービス停止となり誠に申し訳ございません。
復旧の経過状況等、この場にてご連絡させていただきます。
2009.2/13 21:50 Doblog編集部
<<
さて、ここで、新展開を見せる Doblog 編集部。「データベースサーバー及び、バックアップサーバー」という言葉が出てきます。
新しい展開です。壊れたのはＤＢだけじゃなくバックアップシステムも壊れていたという事実が判明します。
少なくともですよ。このサーバー君たちはＮＴＴデータのデータセンターにあるわけでしょ。浸水したとか、消火器がぶっ飛んだとか、さくらインターネットのように配電盤が火を噴いたとかであれば、今日のＮＨＫニュースですよ。
なのにたかが実ユーザ数千人のサービスですけど、２台のサーバが同時に壊れるなんて、ボクが今夜キレイな女の子とホテル行くぐらい珍しいケースに違いありません。
違いありませんが、ここには重大な秘密が隠されているのです。
つまり、コンピュータが同時に壊れるなどということは実際にはめったにありえることではなく、「バックアップサーバー」というのは既に壊れていたというところなんですね。これまでに言及がなかったから気が付かなかったけど、バックアップサーバーはなぜ壊れていたのでしょう。というより、壊れていたのに気が付かなかったのでしょう。
それは、つまり毎日バックアップを取っていなかった、あるいはバックアップを取ったログを確認していなかった。
全ての機器が正しく動いていたということを全く確認していなかったということに他ありません。つまり放置状態。おそらく運用担当者はいただろうけど、ＮＴＴデータのプロパーだったことはありえない。派遣社員か外注に任せっ切りだったろう。ちゃんと引き継いでいなかったのだ。責任は運用担当者にあるわけではないと思う。こういう惨事プランを全く考慮していないＮＴＴデータのサービスに問題があるのです。
>>
Doblog編集部です。
皆様にご迷惑をおかけし、まことに申し訳ございません。
鋭意、復旧に努めてまいりましたが、復旧作業中に更なるハードウェア障害が発生し、作業が大幅に遅延しております。
現時点で、サービス開始時点から2008年8月4日の未明時点までのデータについては、復旧の見込みがあることを確認できております。2008年8月4日未明の状態、さらには、機能制限を設ける形ではございますが、サービス再開に向け作業を継続中です。
また、2008年8月4日から2009年2月8日朝までのデータに関しましては、完全な状態ではないものの、できる限り復旧させるよう取り組んでおります。
状況に関しましては追ってご報告申し上げます。
Doblogをご利用いただいている皆様、ならびに閲覧者の皆様にはご迷惑をおかけし誠に申し訳ございません。
長期間のサービス停止となり、重ねてお詫び申し上げます。
2009.2/19 11:30 Doblog編集部
<<
さて、これがピークとなった 2008/8/4 時点での暫定サービスの開始の宣言です。この時点でのデータ運用しかできないということは去年の８月以来、半年間、まともなバックアップが取れていなかったということなのですね。おそらく、去年の８月以前に Doblog 担当者の人事異動があって、本来開発、運用に携わってきたエンジニアは今は別な仕事をしているのでしょう。あるいは首になったか退職したか。
現在 昨年８月以降退会してブログを削除したユーザのブログも閲覧が可能であり、直接的な個人情報ではなくても消してしまいたい中身も全て公開されている状態である。こういう大規模な情報漏えい事故にもかかわらず、ＮＴＴデータは自社のウェブサイトに障害の情報もアップせず、臭いものにフタ方式でしのごうとしている。
まず、このカイシャのトップ、Doblog を担当していた役員クラスの懲罰は当然だと思う。
さて、この3/11 現在の Dogblog の状況を見て、どういう推測ができるか？なんですが、なんらかの手動での修復作業、一番考えられるのは、タマの丸ごと修復でしょう。
通常、ハードディスクってのは、無塵状態で密閉されているわけですが、これに針のような磁石が接触すると、ガリガリっとなってお釈迦になります。よくジャンボジェットが地上３ｍｍの上空を飛んでいるという比喩がありますが、そんなもんです。だから時としてディスク面が逝っちゃうことが多いのですが、磁性面が逝ってしまっても、他のトラックは大抵無事なものなのです。特にサーバ用ハイエンドドライブはエラーセクターが発生しても代替セクタに書き込みされるため、まず運用中にディスク面そのものが壊れてデータが読めないということはまずありえません。
しかし、ハイエンドのディスクにはカウンタというのが内臓されているらしく、セクターエラーなどを起こして、カウンタが「幾つ」かになったときに、自動的に赤ランプが付いてしまうのです。つまりデータは全然無事でも「このディスクは逝っちゃった」という判断するわけですね。これがストライプされて２個逝ったらもうお手上げです。
もう、この世界からはワタクシの様な並のＳＥやＣＥさんでは手が出ません。ＣＥさんはさっさと工具を片付け始め、外注のＳＥさんは知らん顔して、俺のせいじゃないモンねって顔します。プロパーの課長クラスは、もう出世の道はなくなったなと自覚します。
残った方法はディスクのリカバリ屋です。もうその筋の玉筋金太郎みたいな専門家です。何しろ墜落したスペースシャトルの実験データでさえリカバリするような連中です。これがテラバイト級のシステムだったら、文句なくウン千万円の費用がかかります。また時間もかかります。数ヶ月ですけどね。
当然それだけのコストがかかるということを「政治判断」しなければならないわけです。
これが３月初頭の Doblog の状況でしょう。
ここからはＮＴＴデータの悪口になってしまうことを承知してほしい。
Doblog は少なくとも我々のコンテンツに対して小さな広告を貼り付けることで「営業活動」をしている。儲かっているかどうかは我々には関係ない。我々は無料で提供を受けているのだから、広告の表示を取りやめる権利はない。
権利はないが、Doblog を一つの「ビジネスの場」と考えているユーザもいることだろう。ＮＴＴデータにとってはケチで儲からないビジネスかもしれないが、ビジネスの場として考えているユーザや、日ごろのアイディアの蓄積を仕事と感じているユーザにとっては死活問題なのだ。
じゃぁ月５００円くらいの会費はらうからしっかり使えるようにしてくれよ、って言いたいところなんだけど、それだけのケチな会員抱えてまともなビジネスにならないと考えるところがＮＴＴデータのような巨大ＳＩ企業の考え方なのだ。億／月の単位で売り上げが上がらなければ意味はないだろう。
これが ＮＴＴデータという企業が考える「クラウドシステム」の一部だとしたら、とてもじゃないがＮＴＴデータのクラウドサービスは信用できないと断言できるだろう。クラウドサービスで一日１時間とか半日とかのメンテナンスはまだ許せるが、１ヶ月以上のサービス停止というのは尋常じゃない。
ＮＴＴデータと言えば「あのＮＴＴデータ」である。郵政、国民年金で毎度おなじみのＮＴＴデータである。どうやっても国民年金の情報マッチングを「できません。不可能です」と平気でユーザにふんぞり返って言い張るＮＴＴデータなのだ。Doblogごときチンケなサービスを捨ててしまってもなんとも思わないＮＴＴデータという印象はぬぐいきれない。
国民年金のデータの整合性を検証することが「無理だ」と平気で言えるＮＴＴデータの企業体質が、 Doblog のようなささやかなサービスの整合性を修復することは「意味のないこと」と考えていることは充分推測できる。
国民の重要な情報の管理もできない企業が、たかが少数のユーザのサービスを停止させることくらい屁のように考える企業なのだ。
ＮＴＴデータは多くの大企業の情報システム部門を吸収し巨大化したＳＩ屋で、従業員の出身母体は様々だ。素材で有名なＮ産業、醸造業で有名なＢビール、などなど、多くのシステム部門を吸収合併し、同時に人員削減で人減らし。若くて優秀なエンジニアは脱走し、上位の幹部は天下りでと出身企業の派閥争いという無責任な企業という裏のイメージが強い。
まず、優秀なエンジニアは外注か派遣エンジニアであると考えていい。プロパーの中でも出世意欲のない使い古されたようなエンジニアをマシンルームに貼り付けてとりあえず給料を払い２４時間監視システムをとっていて、プロパーでシステムを知らない人が管理職をやっている、いまさらながらのＳＩ屋だろう。本当にこういう上司、企業体質の中で働いている優秀で頑張るエンジニアには頭が上がらない。砂を噛むようなＤＢの再構築に従事している人には不幸なことにご苦労さまと尊敬するしかないだろう。
クラウドの危うさというのを改めて知ってしまった私にとっては、「クラウドは正しい」とはとてもじゃないが、今のＮＴＴデータの Doblog サービスを見る限り信用できないのである。もし、自分が契約しているクラウドのサービスがこのような状態になった場合、ＩＴ担当者としてはどのような対策をすればよいのだろうか。
少なくとも、自社で運用しているシステムであれば、コストが許す限り重要なバックアップが行われていることを担当者は経営者に報告する（あるいは報告できる）体制をとることができる。しかし、自社の重要なシステムを外部に全て低いコストで提供を受けている限り、言い訳のしようがないのである。たかが月数千円／人のサービスなのだから、これくらいの事故があって当たり前という、技術よりも利益を優先する体質を見て驚くこと間違えがない。クラウドを使う理由のひとつにエンドユーザ、または利用者組織にとって最大の問題となるバックアップと惨事復旧の対策を考える必要がない、という点がある。
しかし、ＮＴＴデータがつくるクラウドの実態というのはこんな程度なものなのだ。国民年金システムなみに、システムに障害があったら、過去のデータを一切処分してなかったことにするという昔ながらの悪癖がこの企業のやり方なのだ。もしあなたの顧客管理システムがＮＴＴデータのクラウドの上にあるのなら、毎日バックアップを欠かさないように気をつけた方がいい。たとえ過去に何百万円はらったからといっても、小規模なサービスならすぐに打ち切って捨ててしまうのがＮＴＴデータのやり方だからだ。
今 「Doblog編集部」なる組織がトップページに色々な言い訳を並べ立てているが、実態は NTT データという大規模ＳＩ業者の言い訳がオブラートされたものに過ぎない。今後 NTT データがクラウドを語る資格はありえないだろう。こんな小さなサービスの管理すらできないのだから。
Doblog が今後どうなるかは全く予測が付かない。おそらくこのまま多くのユーザを引きずったまま、アボンを決め込むか、一部のデータロスを残したまま再開するかだろうけど、少なくとも Doblog によって築かれたコミュニケーションについてはそのまま引継ぎが行われ、我々が残した足跡や情報をそっくりそのまま手元に残せる方式をしっかり作って欲しい。どうせ、ＮＴＴデータがこの程度の扱いにしかしないのなら、ドメインごと他社に売却してもらった方がもっといいかも知れない。
もし NTT データが Doblog を放棄することを決めた日、私たち日本国民の国民保険も放棄される日が近いのかもしれない。
>>> ここまで <<<
ＰＳ： 4/25 追加
やっと再開かと思えば、何と閉鎖だと言う。４畳半の下宿屋じゃあるまいし、寅さんみたいにトランク一つで出てゆけとは何事なのだろう。しかも猶予はひと月しか与えられないとは．．．
ＮＴＴデータは日本最大の（とどこかに書いてあった）最大手のＳＩ企業であるのに、顧客のデータのプランから実行まで全部下請けに出して１ヶ月で実行しろと無理難題を投げつけたのですね。とてもプロの仕業とは思えません。ワタクシも、会社の合併だとか移転だとか、統合だとかに関わる、情報系のシステム移行を何度もやりましたが、こんな無茶な要求はみたことがありません。
もし、クラウドを謳うＮＴＴデータがユーザを３ヶ月も放っておいて、その後、１ヶ月で出てゆけというのもあまりにも凄すぎます。
例えば、仮にですがＮＴＴデータの豊洲のデータセンターから提供されている、電子メールやグループウェアのクラウドシステムで、こんな扱いされたら、普通、客は怒りますよ。数年かけて蓄積したデータのバックアップから移植まで、全部、客がやれと？
最近はＣＲＭだとか、基幹業務もクラウドへ、と流行っているようですが、とてもじゃないけど、こんな会社に自分達の情報を預ける気は、おっかなくてありません。NTTデータという巨大な資本が投げ出した日本のクラウドはどこに行くのでしょうか？ 業界最大手としての責任放棄は、今後も続く日本のクラウドビジネスにも大きな影響を与えるでしょう。NTTデータでさえ投げ出したクラウドサービスにどれだけ、追随する業者が現れるのでしょうか。
まぁ、Doblog はＮＴＴデータから見捨てられるだろうなとは予測はしていましたが、どこかの業者に数万人のユーザとドメインごとあげちゃうかぐらいのことはやるだろうなとは思っていたけど、 doblog.com ごと消去してしまうとは、そこまではワタクシも予想していませんでした。
取りあえず。
「NTTデータの知見は得られた」--ユーザー、Doblogを放棄
「ブログの知見は得られた」--NTTデータ、Doblogを閉鎖
「Doblog」5月に終了 障害で3カ月投稿不能、一部データ復旧できず
ラウドによるデータ集中と、その危険性を考える
無料サービスの罠、無形の価値が示す可能性
>>> ここから <<<
gmail の障害について書こうとした矢先、Doblog が止まった。まぁ、今時のクラウドに保存する情報の危うさというものをつくづく感じさせてもらった。
システムをいじくっているニンゲン、私にとってはごく日常のことである。だからあまり Doblog の運用スタッフについてあれこれ言いたくはない。所詮、Doblog はクラウドの一つとは言っても、たかが数台のPCサーバでシコシコ動かしているシステムなのである。
システムをいじくっているワタクシとしては、この経緯をどう読んだかを、推測してみたい。
まず第一報、何が起きたのかは全くわからない。わからないのはユーザの我々でもあり、たぶん運用スタッフもそうだろう。あれこれつつき回しているのだけれど、どうみてもレスポンスがないところを見ると、「最低」な状態になったということになるのかな。
>>
現在ハードウェアにトラブルが発生しており、復旧が難航しております。
ご迷惑をおかけしまことに申し訳ございません。
復旧の目処が立ち次第、追ってこの場でご連絡させていただきます。
皆様にはご迷惑をおかけしておりますことをお詫び申し上げます。
2009.2/8 12:42 Doblog編集部
<<
お、ここでハードウェアの障害だと認識したらしい。およそ１時間半、普通なんかのトラブルが出て、致命的なハードウェアのトラブルだと認識するまで１時間以上かかるわけがない。少なくともサーバー室とオフィスの居室が近ければ、「あれ？」と思えばサーバ室に行くのが当然なんだけど、 Doblog のシステムは編集部とは違うデータセンターにあるわけだから、当然移動の時間がかかるわけですよ。
>>
現在Doblogでは、データベースサーバーにハードウェア障害が発生しております。
ユーザーの皆様、ならびに閲覧者の皆様に多大なご迷惑をおかけしまことに申し訳ございません。
23：25現在復旧の目処はたっておらず、ハードウェアベンダー等の意見も踏まえ、明日正午迄を目処に
改めてご連絡させていただきます。
皆様にはご迷惑をおかけしまことに申し訳ございません。重ねてお詫び申し上げます。
2009.2/8 23:50 Doblog編集部
<<
第三報です。時間が泣かせます。 23:50 終電ギりです。おそらく、ハードウェア、特にディスクが逝っちゃって、ＣＥさんから「ご臨終です」を告げられた時の担当者の顔が目に浮かびます。当然ディスクなんてストライプしているからいくら冗長構成していても２個逝くともう駄目なんですよ。とかなんとか説明して、終電でとっとと帰ろうとしているベンダーのＣＥさんの無表情さが目に浮かびます。ＣＥさん見送った後、じゃあワシらも今日は何もできることないからさっさと終電で帰ろうか、という判断が 23:50 なのですね。今手配した手持ちの機材では何とかならず、ＣＥさん頑張ってサポートセンターの在庫を確認していました。どうやら明日の朝一番にはバイク便かなにかで壊れたパーツが届くということなのでしょう。
>>
ユーザーの皆様、ならびに閲覧者の皆様にはご迷惑をお掛けし
まことに申し訳ございませんが、復旧には数日を要する状況と
判断いたしました。
Doblogのデータベースサーバのハードディスクに障害が発生して
おり復旧作業を実施中です。
状況に関しましては、この場にて皆様にご連絡・ご報告させて
いただきます。
2009.2/9 12:00 Doblog編集部
<<
ＣＥさんが互換性のあるパーツを取り揃えて再起動はオッケー。だがシステムは起動できない。第４報、ここで、明確に「ハードディスク」が逝ったことを公表しています。たぶん全交換でしょうおか。これは長い戦いだぞ、とワタクシも思いましたよ。テープどれだべ。いつのが最新だ？このテープ１０本転送するのにどれだけ時間かかる？ なんだかそういう泥沼の闘いが始まる予感がしてきます。
まぁ、ハードディスクってのは一発タマが壊れたくらいでは何でもないのですが、２発同時に逝くとなると、たいていマザーボード系のトラブルが原因でタマが複数逝っちゃうのが通例ですから、相当ダメージがあるんでしょうね。
>>
Doblog編集部です。
この度はご迷惑をおかけし、まことに申し訳ございません。
復旧の目処ですが、順調に進んだ場合、13日(金)夜頃になると考えております。
長期間のサービス停止となり、重ねてお詫び申し上げます。
経過の状況等に関しましては、この場にて皆様にご連絡・ご報告させていただきます。
2009.2/11 16:00 Doblog編集部
<<
ここで、「順調に進んだ場合」という予測時間が示されます。今何Ｍｂ／Ｓｅｃで転送しているから、「順調に進んだ場合」あと二日はデータの戻しに時間がかかるんだなというと
ころでしょう。その間、Doblog 編集部がする仕事は「待つ」という過酷な仕事が残っているだけなんですね。
>>
Doblog編集部です。
サーバーの復旧過程でデータの不整合が発生しております。
現在、不整合の原因を究明中です。
復旧に関しましては原因究明後、報告させていただきます。
長期間のサービス停止となり、まことに申し訳ございません。重ねてお詫び申し上げます。
2009.2/13 12:45 Doblog編集部
<<
ここで、どうやら、バックアップメディアからデータが復旧したのですが、今度はソフトウェアの不具合が残っていてどうしても完全復旧できないという事態に陥ります。まぁワタクシはＤＢの専門家じゃないから、想像するだけなんだけどね。ＤＢを起動するときにどうしてもシツコイエラーが一つでてきて、それがソフトウェアのバグなのか、あるいはデータのバグなのか、データに何かフラグがあるので、それをクリアすればよいのだろうけどその方法を探してみても「バックアップからデータを戻せ」という答えしか返ってこないという状況なわけですよ。
>>
Doblog編集部です。
現在発生している状況、及び今後の予定をご連絡いたします。
2/8 10:00頃、Doblogのデータベースサーバー及び、バックアップサーバーの両サーバーにハードディスク障害が
発生し、当日より内部データの復旧作業を行っております。
現在も復旧作業を継続中ではございますが、当初2/13に復旧完了予定であったデータにエラーが発生、
2/13 21:50現在、翌週(2/16週)に延期せざるを得ない状況となりました。
長期のサービス停止となり誠に申し訳ございません。
復旧の経過状況等、この場にてご連絡させていただきます。
2009.2/13 21:50 Doblog編集部
<<
さて、ここで、新展開を見せる Doblog 編集部。「データベースサーバー及び、バックアップサーバー」という言葉が出てきます。
新しい展開です。壊れたのはＤＢだけじゃなくバックアップシステムも壊れていたという事実が判明します。
少なくともですよ。このサーバー君たちはＮＴＴデータのデータセンターにあるわけでしょ。浸水したとか、消火器がぶっ飛んだとか、さくらインターネットのように配電盤が火を噴いたとかであれば、今日のＮＨＫニュースですよ。
なのにたかが実ユーザ数千人のサービスですけど、２台のサーバが同時に壊れるなんて、ボクが今夜キレイな女の子とホテル行くぐらい珍しいケースに違いありません。
違いありませんが、ここには重大な秘密が隠されているのです。
つまり、コンピュータが同時に壊れるなどということは実際にはめったにありえることではなく、「バックアップサーバー」というのは既に壊れていたというところなんですね。これまでに言及がなかったから気が付かなかったけど、バックアップサーバーはなぜ壊れていたのでしょう。というより、壊れていたのに気が付かなかったのでしょう。
それは、つまり毎日バックアップを取っていなかった、あるいはバックアップを取ったログを確認していなかった。
全ての機器が正しく動いていたということを全く確認していなかったということに他ありません。つまり放置状態。おそらく運用担当者はいただろうけど、ＮＴＴデータのプロパーだったことはありえない。派遣社員か外注に任せっ切りだったろう。ちゃんと引き継いでいなかったのだ。責任は運用担当者にあるわけではないと思う。こういう惨事プランを全く考慮していないＮＴＴデータのサービスに問題があるのです。
>>
Doblog編集部です。
皆様にご迷惑をおかけし、まことに申し訳ございません。
鋭意、復旧に努めてまいりましたが、復旧作業中に更なるハードウェア障害が発生し、作業が大幅に遅延しております。
現時点で、サービス開始時点から2008年8月4日の未明時点までのデータについては、復旧の見込みがあることを確認できております。2008年8月4日未明の状態、さらには、機能制限を設ける形ではございますが、サービス再開に向け作業を継続中です。
また、2008年8月4日から2009年2月8日朝までのデータに関しましては、完全な状態ではないものの、できる限り復旧させるよう取り組んでおります。
状況に関しましては追ってご報告申し上げます。
Doblogをご利用いただいている皆様、ならびに閲覧者の皆様にはご迷惑をおかけし誠に申し訳ございません。
長期間のサービス停止となり、重ねてお詫び申し上げます。
2009.2/19 11:30 Doblog編集部
<<
さて、これがピークとなった 2008/8/4 時点での暫定サービスの開始の宣言です。この時点でのデータ運用しかできないということは去年の８月以来、半年間、まともなバックアップが取れていなかったということなのですね。おそらく、去年の８月以前に Doblog 担当者の人事異動があって、本来開発、運用に携わってきたエンジニアは今は別な仕事をしているのでしょう。あるいは首になったか退職したか。
現在 昨年８月以降退会してブログを削除したユーザのブログも閲覧が可能であり、直接的な個人情報ではなくても消してしまいたい中身も全て公開されている状態である。こういう大規模な情報漏えい事故にもかかわらず、ＮＴＴデータは自社のウェブサイトに障害の情報もアップせず、臭いものにフタ方式でしのごうとしている。
まず、このカイシャのトップ、Doblog を担当していた役員クラスの懲罰は当然だと思う。
さて、この3/11 現在の Dogblog の状況を見て、どういう推測ができるか？なんですが、なんらかの手動での修復作業、一番考えられるのは、タマの丸ごと修復でしょう。
通常、ハードディスクってのは、無塵状態で密閉されているわけですが、これに針のような磁石が接触すると、ガリガリっとなってお釈迦になります。よくジャンボジェットが地上３ｍｍの上空を飛んでいるという比喩がありますが、そんなもんです。だから時としてディスク面が逝っちゃうことが多いのですが、磁性面が逝ってしまっても、他のトラックは大抵無事なものなのです。特にサーバ用ハイエンドドライブはエラーセクターが発生しても代替セクタに書き込みされるため、まず運用中にディスク面そのものが壊れてデータが読めないということはまずありえません。
しかし、ハイエンドのディスクにはカウンタというのが内臓されているらしく、セクターエラーなどを起こして、カウンタが「幾つ」かになったときに、自動的に赤ランプが付いてしまうのです。つまりデータは全然無事でも「このディスクは逝っちゃった」という判断するわけですね。これがストライプされて２個逝ったらもうお手上げです。
もう、この世界からはワタクシの様な並のＳＥやＣＥさんでは手が出ません。ＣＥさんはさっさと工具を片付け始め、外注のＳＥさんは知らん顔して、俺のせいじゃないモンねって顔します。プロパーの課長クラスは、もう出世の道はなくなったなと自覚します。
残った方法はディスクのリカバリ屋です。もうその筋の玉筋金太郎みたいな専門家です。何しろ墜落したスペースシャトルの実験データでさえリカバリするような連中です。これがテラバイト級のシステムだったら、文句なくウン千万円の費用がかかります。また時間もかかります。数ヶ月ですけどね。
当然それだけのコストがかかるということを「政治判断」しなければならないわけです。
これが３月初頭の Doblog の状況でしょう。
ここからはＮＴＴデータの悪口になってしまうことを承知してほしい。
Doblog は少なくとも我々のコンテンツに対して小さな広告を貼り付けることで「営業活動」をしている。儲かっているかどうかは我々には関係ない。我々は無料で提供を受けているのだから、広告の表示を取りやめる権利はない。
権利はないが、Doblog を一つの「ビジネスの場」と考えているユーザもいることだろう。ＮＴＴデータにとってはケチで儲からないビジネスかもしれないが、ビジネスの場として考えているユーザや、日ごろのアイディアの蓄積を仕事と感じているユーザにとっては死活問題なのだ。
じゃぁ月５００円くらいの会費はらうからしっかり使えるようにしてくれよ、って言いたいところなんだけど、それだけのケチな会員抱えてまともなビジネスにならないと考えるところがＮＴＴデータのような巨大ＳＩ企業の考え方なのだ。億／月の単位で売り上げが上がらなければ意味はないだろう。
これが ＮＴＴデータという企業が考える「クラウドシステム」の一部だとしたら、とてもじゃないがＮＴＴデータのクラウドサービスは信用できないと断言できるだろう。クラウドサービスで一日１時間とか半日とかのメンテナンスはまだ許せるが、１ヶ月以上のサービス停止というのは尋常じゃない。
ＮＴＴデータと言えば「あのＮＴＴデータ」である。郵政、国民年金で毎度おなじみのＮＴＴデータである。どうやっても国民年金の情報マッチングを「できません。不可能です」と平気でユーザにふんぞり返って言い張るＮＴＴデータなのだ。Doblogごときチンケなサービスを捨ててしまってもなんとも思わないＮＴＴデータという印象はぬぐいきれない。
国民年金のデータの整合性を検証することが「無理だ」と平気で言えるＮＴＴデータの企業体質が、 Doblog のようなささやかなサービスの整合性を修復することは「意味のないこと」と考えていることは充分推測できる。
国民の重要な情報の管理もできない企業が、たかが少数のユーザのサービスを停止させることくらい屁のように考える企業なのだ。
ＮＴＴデータは多くの大企業の情報システム部門を吸収し巨大化したＳＩ屋で、従業員の出身母体は様々だ。素材で有名なＮ産業、醸造業で有名なＢビール、などなど、多くのシステム部門を吸収合併し、同時に人員削減で人減らし。若くて優秀なエンジニアは脱走し、上位の幹部は天下りでと出身企業の派閥争いという無責任な企業という裏のイメージが強い。
まず、優秀なエンジニアは外注か派遣エンジニアであると考えていい。プロパーの中でも出世意欲のない使い古されたようなエンジニアをマシンルームに貼り付けてとりあえず給料を払い２４時間監視システムをとっていて、プロパーでシステムを知らない人が管理職をやっている、いまさらながらのＳＩ屋だろう。本当にこういう上司、企業体質の中で働いている優秀で頑張るエンジニアには頭が上がらない。砂を噛むようなＤＢの再構築に従事している人には不幸なことにご苦労さまと尊敬するしかないだろう。
クラウドの危うさというのを改めて知ってしまった私にとっては、「クラウドは正しい」とはとてもじゃないが、今のＮＴＴデータの Doblog サービスを見る限り信用できないのである。もし、自分が契約しているクラウドのサービスがこのような状態になった場合、ＩＴ担当者としてはどのような対策をすればよいのだろうか。
少なくとも、自社で運用しているシステムであれば、コストが許す限り重要なバックアップが行われていることを担当者は経営者に報告する（あるいは報告できる）体制をとることができる。しかし、自社の重要なシステムを外部に全て低いコストで提供を受けている限り、言い訳のしようがないのである。たかが月数千円／人のサービスなのだから、これくらいの事故があって当たり前という、技術よりも利益を優先する体質を見て驚くこと間違えがない。クラウドを使う理由のひとつにエンドユーザ、または利用者組織にとって最大の問題となるバックアップと惨事復旧の対策を考える必要がない、という点がある。
しかし、ＮＴＴデータがつくるクラウドの実態というのはこんな程度なものなのだ。国民年金システムなみに、システムに障害があったら、過去のデータを一切処分してなかったことにするという昔ながらの悪癖がこの企業のやり方なのだ。もしあなたの顧客管理システムがＮＴＴデータのクラウドの上にあるのなら、毎日バックアップを欠かさないように気をつけた方がいい。たとえ過去に何百万円はらったからといっても、小規模なサービスならすぐに打ち切って捨ててしまうのがＮＴＴデータのやり方だからだ。
今 「Doblog編集部」なる組織がトップページに色々な言い訳を並べ立てているが、実態は NTT データという大規模ＳＩ業者の言い訳がオブラートされたものに過ぎない。今後 NTT データがクラウドを語る資格はありえないだろう。こんな小さなサービスの管理すらできないのだから。
Doblog が今後どうなるかは全く予測が付かない。おそらくこのまま多くのユーザを引きずったまま、アボンを決め込むか、一部のデータロスを残したまま再開するかだろうけど、少なくとも Doblog によって築かれたコミュニケーションについてはそのまま引継ぎが行われ、我々が残した足跡や情報をそっくりそのまま手元に残せる方式をしっかり作って欲しい。どうせ、ＮＴＴデータがこの程度の扱いにしかしないのなら、ドメインごと他社に売却してもらった方がもっといいかも知れない。
もし NTT データが Doblog を放棄することを決めた日、私たち日本国民の国民保険も放棄される日が近いのかもしれない。
>>> ここまで <<<
ＰＳ： 4/25 追加
やっと再開かと思えば、何と閉鎖だと言う。４畳半の下宿屋じゃあるまいし、寅さんみたいにトランク一つで出てゆけとは何事なのだろう。しかも猶予はひと月しか与えられないとは．．．
ＮＴＴデータは日本最大の（とどこかに書いてあった）最大手のＳＩ企業であるのに、顧客のデータのプランから実行まで全部下請けに出して１ヶ月で実行しろと無理難題を投げつけたのですね。とてもプロの仕業とは思えません。ワタクシも、会社の合併だとか移転だとか、統合だとかに関わる、情報系のシステム移行を何度もやりましたが、こんな無茶な要求はみたことがありません。
もし、クラウドを謳うＮＴＴデータがユーザを３ヶ月も放っておいて、その後、１ヶ月で出てゆけというのもあまりにも凄すぎます。
例えば、仮にですがＮＴＴデータの豊洲のデータセンターから提供されている、電子メールやグループウェアのクラウドシステムで、こんな扱いされたら、普通、客は怒りますよ。数年かけて蓄積したデータのバックアップから移植まで、全部、客がやれと？
最近はＣＲＭだとか、基幹業務もクラウドへ、と流行っているようですが、とてもじゃないけど、こんな会社に自分達の情報を預ける気は、おっかなくてありません。NTTデータという巨大な資本が投げ出した日本のクラウドはどこに行くのでしょうか？ 業界最大手としての責任放棄は、今後も続く日本のクラウドビジネスにも大きな影響を与えるでしょう。NTTデータでさえ投げ出したクラウドサービスにどれだけ、追随する業者が現れるのでしょうか。
まぁ、Doblog はＮＴＴデータから見捨てられるだろうなとは予測はしていましたが、どこかの業者に数万人のユーザとドメインごとあげちゃうかぐらいのことはやるだろうなとは思っていたけど、 doblog.com ごと消去してしまうとは、そこまではワタクシも予想していませんでした。
取りあえず。
「NTTデータの知見は得られた」--ユーザー、Doblogを放棄
「ブログの知見は得られた」--NTTデータ、Doblogを閉鎖
「Doblog」5月に終了 障害で3カ月投稿不能、一部データ復旧できず
ラウドによるデータ集中と、その危険性を考える
無料サービスの罠、無形の価値が示す可能性
※コメント投稿者のブログIDはブログ作成者のみに通知されます