Air SIM communication disconnection

Incident Report for SORACOM

Postmortem

SORACOM Air ご利用の皆様

このたびは2016年9月6日に発生したSORACOM Airの通信障害により、お客様にご迷惑をおかけすることとなり、誠に申し訳ございませんでした。ここにその原因と再発防止策につきまして下記のとおりご報告いたします。

障害の概要

今回の障害で影響のあったサービス: SORACOM Air、ユーザーコンソール、API
障害によるお客様への影響範囲: SIMからの通信が断続的につながらない状態の発生、ユーザーコンソールおよびAPIにて、SIMに関する情報が取得できない事象の発生
発生日時: 2016年9月6日 10:00(JST)
復旧日時: 2016年9月6日 12:55(JST)

原因

今回の障害は、通信回線の状態を管理する部分に処理遅延が発生したことが根本的な原因となります。こちらに対して突発的に平常時を大きく超える多量なリクエストが発生したことによって、通信セッションの確立に時間が掛かる状態が発生し、処理遅延につながりました。

再発防止策

通信セッションを確立する際の処理において、同様の状況が発生した場合でも処理遅延がシステム全体に波及しないよう対策を行います。また、突発的なリクエストに対する余剰キャパシティの確保率を増加し、それに伴い余剰キャパシティの増強を行いました。また、その確保率に従って、自動化システムの更新を行います。

Posted Sep 06, 2016 - 19:59 JST

Resolved

English follows after Japanese
一部Air SIMで発生していた通信障害について、完全な復旧を確認しました。

本事象の影響範囲、発生時間帯は以下のとおりです。このたびはご迷惑をおかけし、誠に申し訳ございませんでした。

* 影響範囲：一部のAir SIMの通信
* 発生時間帯：2016-09-06 10:00 - 12:55 (JST)

本件の原因、再発防止策等につきましては、以下のURLよりご参照ください。
* 障害概要： https://soracom.statuspage.io/incidents/20yh99nj3sgq
--------
[English]
We confirmed complete restoration of communication failure occurred in part of Air SIM.

The scope of impact and time of occurrence of this event are as follows. We apologize for any inconvenience this time.

* Impact range: Some Air SIM communication
* Generation time zone: 2016-09-06 10: 00 - 12: 55 (JST)

Please refer to the following URL for the cause of this matter, measures to prevent recurrence.
* Disability Summary: https://soracom.statuspage.io/incidents/20yh99nj3sgq

Posted Sep 06, 2016 - 15:36 JST

Monitoring

English follows after Japanese
一部Air SIMの通信障害について対応を行い、徐々に復旧していることを確認しています。通常どおりのサービスレベルに戻るまで経過を観察し、完全な復旧が確認されたら改めてこちらのページでお知らせいたします。
----
We have responded to some communication problems of Air SIM and confirmed that it is recovering gradually. We observe the progress until we return to the usual service level, and we will inform you again on this page once complete recovery is confirmed.
We have responded to some communication problems of Air SIM and confirmed that it is recovering gradually. We observe the progress until we return to the usual service level, and we will inform you again on this page once complete recovery is confirmed.

Posted Sep 06, 2016 - 13:34 JST

Update

English follows after Japanese
* 一部Air SIMの通信障害について、影響を受けたもののうち一部の通信が復旧しはじめていることを確認していますが、引き続き対応を進めています。
* ユーザコンソールについては復旧を確認し、通常どおりのサービスレベルに戻っていることを確認するため、経過を観察しています。
----
* We have confirmed that part of the affected on communication trouble of some Air SIM is beginning to recover, but we are continuing to respond.
* As for the user console, we check the recovery and observe the progress to confirm that we are returning to the usual service level.

Posted Sep 06, 2016 - 12:55 JST

Identified

English follows after Japanese
現在、Air SIMの通信とユーザコンソールの表示に問題が発生しています。
引き続き調査・対応を行い、進展があればこのStatus Dashboardにてお知らせいたします。
----
There is a problem with Air SIM communication and display of user console at present.
We will continue to investigate and respond and if there is progress we will inform you at this Status Dashboard.

Posted Sep 06, 2016 - 11:01 JST

Investigating

English follows after Japanese
現在、Air SIMの通信に問題が発生していることが確認されており、開発チームが調査を進めております。
調査に進展があればこのStatus Dashboardにてお知らせいたします。
----
It is now confirmed that there is a problem with Air SIM communication, and the development team is conducting investigations.
We will inform you of this progress at the Status Dashboard if there is progress in the survey.

Posted Sep 06, 2016 - 10:43 JST