店番長

2023年2月 8日

店番長のサーバーメンテナンスに伴う障害報告

株式会社リンコム
代表取締役社長 野村 剛志

拝啓 平素より店番長をご愛顧いただき、厚く御礼申し上げます。
この度は、弊社がご提供しております店番長サービスにて障害が発生し、貴社に対し多大なご迷惑をおかけしましたこと、誠に申し訳ございませんでした。
深くお詫び申し上げます。
本通知では、この度の件に関しての対応および今後の再発防止に向けた取り組みについてご報告をさせて頂きます。

敬具

1. 障害内容

障害の概要

 2023年1月25日 7:45頃より1月29日23:45頃まで店番長(弊社が提供するクラウドサービス名、以後、店番長)のレスポンスが低下し、表示に長い時間を要する事象やシステムエラーが発生しました。
現象として、①タイムアウトエラー、②応答が返るまでの時間が著しく低下、③混雑している旨を表示する画面が頻発する状況が続きました。

障害の範囲

・店番長ご利用の全ユーザー環境、全アカウント(本部、店舗)
・店番長の下記機能
業務指示、ルーティン、相談連絡

障害の原因

1.DBサーバー(ミドルウェア)の移転作業
今回、DBサーバー(ミドルウェア)の変更を加味したプログラム改変を行う際に考慮漏れが存在したためです。原因は、プログラムの改変後の検証が不足していたことによる人的ミスとなります。

2.プログラムの改変後の検証不足による不具合とレスポンス影響
今回はサーバー停止も伴う大規模なインフラ移行であるため、シナリオに基づくテストの実施を専門の第三者企業に委託して行うなどの準備を進めてまいりました。しかしDB(ミドルウェア)変更の影響範囲、複雑性を加味したシミュレーションが不足していたことが今回の主たる原因でした。
類似環境に負荷をかけてテストを実施しましたが、これは弊社で過去に実績のある負荷テストのやり方であり、あくまで同一DBにおける有効な手段のため、新DBがデータ量に依存する部分のリスクを洗い出しきれませんでした。
結果として、想定していたレスポンスの限界値と本番環境での乖離が大きく障害を引き起こしました。

2. 今後の取り組みについて

再発防止に向けて

この度の障害を重く受け止め、今後のサービス品質向上のために、体制の再構築と外部視点からの有益な品質向上策を取り入れ、今後のテスト手法を抜本的に変えていきます。

●兼任体制から専任体制への移行
現在は最高責任者およびプロジェクトリーダーが複数の役割を兼任してきましたが、今後は独立した専任体制を敷くことにより、それぞれの負担軽減が見込めるとともに、プロジェクト管理体制の強化、品質マネジメント(品質保証、ソフトウェア品質)の強化を図って参ります。この専任体制を実現すべく、半年以内に社外から新たな人材の確保を実施する計画です。

●第三者検証サービスによるテストプロセス関与強化
現時点でも一部のテスト実施は、外部業者に委託しておりますが、テスト手法から改善致します。
具体的には自社作成のテスト計画・テスト仕様書の実施依頼だけでなく当事者では気づかない不具合の予防のため、第三者視点でのテストプロセスを導入し、ソフトウェア開発の品質改善に取り組みます。

●新たなテクノロジーに優れた有識者、専門家とのコネクションを構築
第三者チェックをさらに取り入れます。
自社でも勉強会等で知識を共有しておりましたが今回の事態を重く受け止め、専門家の支援を受けて最終的には社内へ情報共有ができるよう、再発防止マニュアルやドキュメントにまとめていくことで再発の防止に取り組みます。

この度は、貴社における本部-店舗間のコミュニケーションツールとして重要な位置づけのサービス提供者として、業務に大きな支障をきたす重大な障害を発生させてしまい誠に申し訳ございませんでした。今後は安定した運用とトラブルの早期回復を行えるよう、上記対策を実施してまいりますので、今後とも変わらぬご指導のほど、何卒よろしくお願い申し上げます。

問い合わせ先

株式会社リンコム カスタマーサポートセンター
電話:050-1748-1010
MAIL:support@linkcom.com