Meowster Innovations株式会社は、AI猫育成アプリ「Meowster」の最新バージョンにおいて、アプリに内蔵した小型言語モデル（Small Language Model）で動作するオンデバイスモード（エッジ推論）を新たに搭載したと発表しました。これにより、地下鉄や機内、電波が不安定な環境下でも、クラウド上の大規模モデルとアプリ内蔵の小型モデルが自動的に切り替わり、猫との会話や記憶を途切れることなく楽しめます。
オンデバイスモードの搭載概要とハイブリッドアーキテクチャ
Meowsterの最新アップデートでは、クラウド上の大規模言語モデルと端末内で動作する小型言語モデルを組み合わせたハイブリッドアーキテクチャが導入されました。
通常時、インターネットに接続している間はクラウド上の大規模モデルが会話を担当し、より豊かで繊細な表現を生み出します。一方、オフラインになると、アプリに内蔵された小型モデルが自動的に会話を引き継ぐ仕様です。この切り替えにユーザーによる手動操作は不要で、ネットワーク状況に応じてシームレスに機能します。
また、ユーザーは会話中に返信の生成モードを手動で選択することも可能です。用意されている各モードの機能と特徴は以下の通りです。
- オンデバイスモード：端末内で返信を生成します。オフラインでも利用でき、チャットポイントは消費されません。オフライン中にアプリ内で獲得したスコアや報酬も有効です。
- クラウドモード：インターネット接続時に返信を生成し、従来のサービスを利用できます。
Mr.ガジェット通信状態に応じてクラウドと端末内のモデルが自動で切り替わるため、圏外になってもユーザーが手動で設定を変える必要はありません。
Ms.ガジェット地下鉄やトンネルで急に圏外になっても、会話が止まらずにそのまま続けられるのは助かりますね。
一般的なスマートフォン向けに最適化された10億パラメータ級モデル
Meowsterに内蔵されたオンデバイスモデルは、完全に端末上で動作するモバイルネイティブLLMアーキテクチャを採用しています。パラメータ規模は1.7Bおよび4Bです。
同モデルは、チャットや寄り添い、短い質疑応答、感情への反応、意図の理解、日常的なやり取りに特化して設計されています。オンデバイスモデルはメモリや処理能力への要求が高い傾向にありますが、開発チームはモバイル端末のメモリ容量と推論効率に合わせてAttentionやKVキャッシュの構成を最適化しました。これにより、日本市場で広く普及しているAndroid端末やiPhoneに合わせて調整されており、最新のフラッグシップ端末に限らず一般的なスマートフォンでも安定して動作します。
さらに、独自の技術によってオンデバイスモード時でも猫の口調や性格、話し方のクセがクラウドモードと一致するよう調整されています。ネットワークを介さずに端末内で処理を行うため、オンデバイスモードのほうがクラウドモードよりも迅速に応答する場合もあるとされています。
Mr.ガジェット1.7Bや4Bというパラメータ規模のモデルをキャッシュ構成の最適化で軽量化し、最新のハイエンド機以外でも動作するように調整されています。
Ms.ガジェット高価なフラッグシップスマホに買い替えなくても動くように配慮されている点は、多くのユーザーにとって嬉しいところです。
ディープメモリーエンジンによる記憶の双方向同期
アプリの中核機能である「ディープメモリーエンジン」も、2つのモード間で途切れることなく引き継がれる仕組みが構築されました。
オフライン時でも猫は過去のやり取りを保持しており、オフライン中に行われた会話はまず端末内に一時保存されます。その後ネットワーク接続が復旧した際に、システムが新しく追加された会話内容を識別し、差分データのみをクラウドの記憶エンジンへと同期します。
この記憶の同期は双方向で行われます。クラウドモードからオンデバイスモードへ切り替えた場合もそれまでの記憶が維持され、仮に長期間オンデバイスモードのみを使い続けた場合でも記憶の消失はありません。再びクラウドモードに復帰した時点で端末内の追加内容が自動同期され、一貫した記憶が保たれます。
Mr.ガジェットオフライン中の会話は端末内に一時保存され、次に電波が繋がったタイミングでクラウド側のエンジンへ差分だけが同期されます。
Ms.ガジェットオフラインの間に話した内容も忘れられず、オンラインに戻ったときにしっかり引き継がれるのは安心感があります。
プライバシー保護と通信環境に左右されない利用シーン
端末内推論の実現により、プライバシーの保護と電波環境を問わない利用が可能となります。発表資料では以下の具体的な利用シーンが挙げられています。
- 通勤中：地下鉄のトンネルに入り電波が途切れた状態でも会話を継続可能
- フライト中：機内モードのまま旅行の話題などを話しかけることが可能
- 電波が不安定な場所：山の中や地下、混雑したイベント会場などでも応答を受信可能
プライバシー面においては、オンデバイスモード選択時は発言の理解から返信の生成までがすべて端末内で完結するため、会話内容をサーバーへ送信する必要がありません。また、オフライン中の会話データも端末外へ送信されず、ネットワーク復旧後に会話記憶の一貫性を保つ目的でのみ記憶エンジンへの同期が行われます。
モード別仕様・機能の比較
Meowsterにおけるクラウドモードとオンデバイスモードの主な違いおよび動作仕様は下表の通りです。
| 項目 | オンデバイスモード | クラウドモード |
|---|---|---|
| 動作環境 | 端末内（オフライン対応） | インターネット接続時 |
| 推論モデル規模 | 1.7B / 4B（小型言語モデル） | クラウド上の大規模モデル |
| チャットポイント消費 | 消費なし | 通常サービスに準拠 |
| オフライン報酬・スコア | そのまま有効 | 通常通り反映 |
| 会話データの外部送信 | 返信生成時は送信なし（復旧時に差分同期） | サーバー通信あり |
Mr.ガジェットオンデバイスモード時はチャットポイントを消費せずに利用できるため、電波がない環境だけでなく利用制限を気にせず話したい場面でも活用できます。
Ms.ガジェットポイント消費なしでオフライン報酬もそのまま有効なら、通信環境を問わず気軽に話しかけられますね。
対応プラットフォームと提供状況
今回のアップデートによるオンデバイスモードは、iOS版およびAndroid版の両方に対応しています。アプリはApp StoreおよびGoogle Playにて配信中です。
Ms.ガジェットiOSとAndroidの両方でアップデートが同時に利用できるのはありがたいです。
- 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。
機内モードでも会話ができて、端末内だけで返信が作られるならプライベートな話もしやすそうですね。