LMS365の動作遅延に関するご報告

投稿日 2017年11月29日
更新日 2021年8月2日
著者 sofia
カテゴリーお知らせ

平素よりLMS365 for Cloud製品をご愛顧頂き、誠にありがとうございます。

この度、LMS365に動作遅延が発生する事象が発生し、ご利用のお客様には多大なるご迷惑をおかけしましたこと、深くお詫び申し上げます。
発生した事象の詳細及びその対応策について以下の通りご報告させて頂きます。
尚、LMS365ご利用中のお客様には個別にご連絡をさせて頂いており、以下掲載内容はご報告済みの内容と重複するところもございますので、何卒ご了承頂ければ幸いです。

発生した事象

LMS365サーバーの日本リージョンにて動作遅延が発生し、コースカタログの表示が正常に行われない、もしくは表示に多大な時間を要する事象が発生。

発生要因の詳細

Microsoft Azureデータセンター内に設置されている各種データに対して、特定のお客様が負荷の高い操作を行った際に、他のシステム（LMS365含む）にその影響が及んでしまう事象が発生しておりました。また、そのようなケースに対応するためのLMS365システムのプログラムにも不備があり、直接的にその影響を被ってしまう事態となっておりました。
具体的にはMicrosoft Azure内にあるLMS365以外のシステムに対して負荷の高い操作や処理が行われた際、本来は別システムへの影響はないものと考えられますが、それがLMS365システムに直接的に影響を及ぼしてしまう事象が発生しておりました。またLMS365システム自体にもそのようなケースを想定した処理に不備が存在し、特にMicrosoft Azure内にあるLMS365用のSQL Serverデータベースへアクセスするためのデータベースクエリーの一部でその対応が取れておらず、その結果としてデータベースに保存されている学習コース情報を取得し画面に表示する際に、データベースより正常なレスポンスを得ることが出来ずプログラム内エラーが発生してしまっておりました。
また、今回発生した事象は世界に4箇所存在するLMS365環境の中で日本リージョンのみで発生していた事象であったため、その発見及び原因究明に多大なる時間を要する結果となりました。

発生日時

2017年11月27日未明より同年11月28日 18:16まで

対策

LMS365システムの複製環境を構築し、ログファイルの解析、問題発生箇所及び発生要因の調査を行いました。
調査結果より判明したLMS365システム内における、データベースアクセスを行うプログラム（データベースクエリー）の改修を実施致しました。
複製環境内で修正プログラムの稼働テスト及び負荷テストを実施致しました。
合わせて本製品開発及びバージョンアップ時に実施しているQAテストを全項目再実施致しました。
全ての負荷テスト及びQAテストが完了したものを本番環境にリリースし、さらに本番環境上での再負荷テストを実施致しました。
Microsoft Azure上の他のシステムで行われた負荷の高い処理が、LMS365システムなどの別のシステムへ影響を及ぼすことは、Microsoft Azureデータセンターの仕様に要因が存在しているため、その件をMicrosoft社に報告し改善を依頼致しました。

LMS365ご利用のお客様に多大なるご迷惑をおかけ致しましたこと重ねてお詫び申し上げます。

本件についてご意見などございましたら、お問い合わせよりご連絡頂けますと幸いです。

LMS365の導入実績

様々な業種・企業様にてLMS365をご利用いただいております。