大変申し訳ございません。10/26 22:50 〜 10/27 3:30 にかけて、コロプラにアクセス障害が発生しておりました。以下詳細です。

[原因]
26日に展開したあるフィールドテーマの1ファイルが壊れており、読み込みが出来なかった。ファイルの壊れ方が特殊であったようで、読み込み時にエラーが発生するのではなく、そのままロック(動作が停止する)していた。また、読み込み動作部分はキャッシュ機構が組み込まれており、その箇所でロックが発生すると、その後のファイル読み込みが全てロックする。
つまり、問題のテーマを読み込んだ瞬間、その後のフィールド表示が全てロックした。結果、徐々にサーバリソース消費し、全てのアクセスが溢れた。

[復旧が遅れた理由]
サーバのコネクションが溢れて停止していたため、
・アクセス過多による高負荷
・DB障害
を疑い、その周辺を調査していたため、発見が遅れた。


ということで、本当に申し訳ございませんでした。フィールドテーマ追加時に詳しくテストしていれば良かったです。私のミスです。
エラーが発生すれば事前のテストで判明していたのですが、、、まさかロックするパターンが存在するとは想像できませんでした。本当に申し訳ありません。


17歳の時の遊園地のバイト。かき氷を作ろうとして、どうしてもいつも通りいかない。そんなとき、店長が、

「普段と違う何かおかしな事があったら、かならず原因はすぐ近くにある。だから立ち止まって考えろ。」

と言って、製氷機のネジを締め直してくれたことがありました。直前に氷を付け替えるために自分で外していたのに、それに気づかなかったんですね。

今日はそのことを思い出しました。直前にテーマを追加していたのだから、どんなにその事が結びつかなくても、経験がそれを否定しても、真っ先に調査すべきでした。今日はアクセスが多かったとはいえ、昨日と比べてそんなに変わらないのだから、こんな劇的な障害は起こるはずがないのです。
僕は17歳から成長していないようです < orz

というわけで、久々にやってしまいました。しばらくおとなしくしておりますm(_ _)m