1月31日〜2月1日にかけてのはてなの不具合について

昨日は、はてなのシステム上のトラブルにより、ユーザーの皆様にご迷惑をおかけし大変申し訳ございませんでした。

以下、昨日から本日にかけての不具合の検証結果、ならびに弊社における各種対応についてご説明させて頂きます。

■不具合の経緯について

1月31日(土)午後13時0分に、アクセスが急増し負荷が高い状態となっていたはてなデータベースの負荷分散を行うため、データベースの冗長化作業を行いました。はてなデータベースには、はてなのユーザーの皆様のデータ、および人力検索サイトはてなの質問・回答・掲示板等の情報が格納されております。

この際、冗長化による各種アプリケーションの設定変更が十分ではなく、データベースの更新処理が誤ったデータベースサーバーに対して行われる不具合がありました。この不具合のため、2基のデータベースサーバーそれぞれに別の更新処理が行われ、整合性の取れない状態となり、はてなへログインできない等の不具合が生じ始めました。

2月1日(日)朝にこの不具合の原因の概要が判明し、早速一時的にシステムを停止し、2基のデータベースサーバーの内容を同期する処理を行いました。この処理の過程で、片方のデータベースに対して行われた更新内容が全て消失いたしました。

その他の方法として、それぞれのデータベースサーバーに行われた更新処理を整合性を取りながら全て手動操作にて行う方法もありましたが、作業が数日間に及ぶことが予想されこの間はてなの全サービスを停止せざるを得ないこと、また、質問・回答内容のデータが失われてしまっていたことから、早急なサービス再開を優先し、1月31日13時0時の状態に戻す事を選択しました。

2月1日11時52分に、データベースを1月31日13時0分の状態に戻し、サービスを再開いたしました。

■再開後の処理について

サービス再開後の処理については、以下の各処理を弊社にて行いました。

・ユーザー登録

不具合期間中にはてなへユーザー登録して頂いた皆様(約400名)のデータについて、再度ユーザー登録作業を行いました。また、該当ユーザーの皆様に、データ消失の不具合についてのご説明、ならびに、弊社にて再登録作業を行ったことについてのご説明をメールにて送信いたしました。

・回答者へのポイント送信

不具合期間中にはてなの質問に回答頂いた皆様に以下の処理を行いました。

-不具合期間中に質問が終了し、同様の条件で終了が可能なものは、弊社にて再度同じ条件で質問の終了、ポイントの振り分けを行いました。

-不具合期間中に登録された質問で、質問が終了し、ポイントが支払われたものについて、支払われた額と同額のポイントを回答者に送信しました。

-不具合期間中に質問が終了され、サービス再開後に再度質問が終了されているものについては、回答者が本来受け取っていたポイントとの差額分を回答者に送信しました。

-不具合期間中に質問が終了され、サービス再開後にまだ終了していない質問については、回答者が本来受け取っていたポイントを回答者に送信しました。

-不具合期間中に登録された質問で、質問が終了せず消失したものに対して、不具合期間中に回答を頂いたユーザーの皆様へのポイント送信が不可能な状態となっております。大変お手数ですが、これに該当するユーザー様へは、弊社よりポイントを送信させて頂きますので、info@hatena.ne.jpまでご連絡いただければと思います。

・質問者へのご連絡

不具合期間中に質問を登録頂いた皆様に、不具合のご報告、質問消失のご報告、ならびに、再度質問をご登録頂く様お願いをするメールを送信しました。

・退会

不具合期間中に退会処理を行ったユーザーについて、弊社にて退会処理を行いました。

ポイント送信

不具合期間中に行われたポイント送信について、弊社にてポイントの送信を行いました。

・ともだち紹介

不具合期間中に行われたポイント紹介について、弊社にて紹介を行いました。

・パスワード変更

不具合期間中に行われたパスワード変更について、弊社にて変更を行いました。

・携帯メール登録

不具合期間中に行われた携帯メールアドレスの登録について、弊社にて登録を行いました。

・メールアドレス変更

不具合期間中に行われたメールアドレスの変更について、弊社にて変更を行いました。

・回答オープン

不具合期間中に行われた回答オープン操作について、弊社にて回答をオープンしました。

掲示

不具合期間中に行われたはてな掲示板への書き込みについて、再現が可能なものについては再書き込みを行いました。また、ツリー元となる質問が消失している場合など、再現が難しい場合については、書き込みをされたユーザー様に書き込み内容とともに、メールをお送りしています。

はてなダイアリーの設定・日記データ

不具合期間中にユーザー登録を行い、はてなダイアリーを開始したユーザー様の、日記の設定、日記のデータについて、新しく再登録されたユーザー情報にあわせて再設定を行い、新しいユーザーアカウントで利用可能としました。

はてなアンテナの設定・アンテナデータ

不具合期間中にユーザー登録を行い、はてなアンテナを開始したユーザー様の、はてなアンテナの設定、アンテナに登録されたページデータについては、再登録された新しいアカウントとの紐付けが不可能な状態となっており、該当するユーザー様に対して、アンテナの設定、内容を一旦削除頂き、再度ご登録頂く様お願いをするメールを送信しました。


■今後の対応について

現在弊社で把握している各種不具合は以上ですが、その他の不具合、不明点などがございましたら、info@hatena.ne.jpまでご指摘ください。

また本日、アプリケーションの不具合箇所については原因が判明しており、不具合を修正したのち、再度データベースの冗長化を図り、より安定した環境ではてなをご利用いただけるよう、システムの変更作業を進めてまいりたいと思います。


この度ははてなをご利用の皆様に多大なるご迷惑をおかけし、大変申し訳ございませんでした。

どうぞよろしくお願いします。