ハートビーツ、AIによるサーバー障害の一次調査を検証　社内では発報から約2〜3分で見立て

ハートビーツは、AWS DevOps Agentを使い、監視アラートの一次調査と見立ての提示を行う仕組みをAWS上に構築し、検証したと発表しました。社内の9案件・計36台を対象とした検証では、発報から約2〜3分で見立てがチャットツールに届いたとしています。調査はAIが行い、判断は人が担う設計です。

一次切り分けの負担を検証

ハートビーツの運用チームは従来、監視アラートが出るたびに当番エンジニアがサーバーへログインし、手順書に沿って負荷やディスク、ログなどを確認して、過去の対応履歴と突き合わせていました。一次切り分けには1件あたり約10〜20分を要していたといいます。

同社は、案件の増加に伴う調査負担と初動品質のばらつきに加え、監視仕様や対応履歴が複数のツールに分散し、担当者の経験に依存することを課題として挙げています。今回、AWS DevOps Agentを一次切り分けに適用し、見立てを自動提示する仕組みを構築しました。

アラート受付と案件分離の設計

新たにAWS上へ構築したアラート受付基盤では、Nagiosなどの既存監視システムをそのまま稼働させながら、アラートを共通形式に正規化し、案件ごとのAgent Spaceへ振り分けます。案件コードを識別子として監視、チケット、エージェントを結び付ける構成です。

重複の排除、フラッピング時の調査抑止、関連アラートの集約によってノイズを制御します。Google Cloud、Azure、オンプレミスの環境も同じフローに載せています。

運用の原則は「調査はAI、判断は人」です。AIエージェントは読み取りによる調査と、見立て・推奨手順の提示までを行います。Agent Space、参照用IAMロール、調査時に参照する知識であるSkillsを案件単位で分離し、読み取り専用のガードレールや出力先の制限、監査ログによる確認を組み合わせて行動範囲を制限するとしています。

社内パイロットの結果

パイロット検証の対象は、Amazon EC2やAzure上の仮想マシンを含む社内運用の9案件・計36台で、調査を30件実行しました。同社によると、発報から約2〜3分で見立てがチャットツールに届き、当番はその内容の検証から始められます。従来の1件あたり約10〜20分との比較を基に、同社は「50%以上の効率化」と算出しています。

当初は発報した指標の判定は正確だった一方、ディスクの逼迫やサービス停止など周辺の異常を見落とすことがありました。同社は、エージェントに渡す情報と指示が不足していたと説明しています。段階的に改善した結果、評価対象としたすべての調査で、運用チームが一次切り分けに使える水準の見立てを確認できたとしています。

監視仕様書や過去の対応履歴はSkillsとしてあらかじめ登録し、見立てに反映します。緊急度の低いアラートでは、当番が簡易調査の結果を確認して対応の要否を判断します。また、発報を契機に情報を取得することで、発報時に近い状態を調査に利用する設計です。

レプリケーション異常の調査例

同社は、AWS、Google Cloud、Azureにまたがる社内データベースクラスタの1台で、23時台にレプリケーション異常のアラートが出た事例を紹介しています。エージェントはCPU・メモリ・ディスクの実測値からOS側に異常がないことを確かめ、レプリケーション機能自体の障害に高い確信度で絞り込んだといいます。

さらに、3日前に同じクラスタの別ノードで発生した疎通異常を前兆の可能性として指摘し、自動セキュリティ更新が数週間失敗し続けていた問題も発見したとしています。推奨手順にはプライマリノードの場合の運用上の注意点も含まれ、発報からレポート到着まで2分53秒だったと説明しています。

顧客案件への展開

ハートビーツは社内システムでの実運用に加え、顧客案件への展開を進めています。顧客環境に変更を加えない範囲から始め、了承を得た案件から順次広げる方針です。中期的には過去のチケットやメール履歴との連携を通じて、見立ての根拠を厚くすることを目指しています。

• 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。