パナソニック ホールディングス株式会社とパナソニックR&Dカンパニーオブアメリカは2026年11月5日、指先の触覚に即応しながら器用な両手作業を行うロボット操作AI「Tactile-Reactive Dexterous Manipulation（T-Rex）」を共同開発したと発表しました。開発にはカリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者が参加しています。本成果は、2026年11月9日から12日まで米国オースティンで開催されるロボット学習分野の国際会議「Conference on Robot Learning（CoRL）」で発表されます。
開発の背景と従来手法の課題
人間が薄いカードを引き出したり、鍵を差し込んで回したりする作業では、視覚情報だけでなく、指先で感じる力や滑り、物体の変形に応じて動きを瞬時に調整しています。これに対し、従来のVLA（Vision-Language-Action：視覚言語行動）モデルは主にカメラ映像に依存しており、触覚を利用する場合でも静的な情報として扱うことが多いため、細かな力加減や接触状態の変化が求められる作業への対応が困難でした。
加えて、触覚情報を含む大規模な学習データが乏しい点や、視覚・言語モデルの更新頻度の低さと高速な触覚反応に必要な制御頻度との間に隔たりがある点も技術的な課題となっていました。
Mr.ガジェット画像認識を中心とするモデルは視覚情報に頼るため、力加減の変化や指先の滑りといった瞬間的なフィードバックを捉えにくいという課題がありました。
Ms.ガジェットカードの引き出しや鍵の操作のように、手探りの感覚に頼っている作業をロボットで再現するのは想像以上に難しそうですね。
T-Rexの制御アーキテクチャと動作の仕組み
T-Rexは、低頻度で行う「視覚・言語に基づく動作生成」と、指先から得られる触覚に応じた「高速な動作修正」を一つのモデルに統合しています。視覚と言語を処理する動作生成モジュールが約5 Hz（毎秒約5回）で動作の大枠を生成し、触覚を処理する動作修正モジュールが約20 Hz（毎秒約20回）でリアルタイムに接触状態を捉えて動作を細かく補正します。この二重構成により、処理遅延が大きい画像認識を毎回やり直すことなく、作業中の滑りや押し込み過ぎに素早く対応できます。
Mr.ガジェット視覚言語による動作生成を約5 Hz、触覚による動作修正を約20 Hzと、処理頻度を分離して組み合わせている点が構造上の特徴です。
Ms.ガジェット遅延の出やすい画像認識を毎回やり直さずに、指先の感覚だけで約20 Hzで素早く修正できる仕組みは合理的ですね。
学習データセットと実環境評価結果
研究チームは学習データとして、200種類を超える日用品と22種類の基本動作を組み合わせ、7,700件超、計100時間に及ぶ両手ロボット操作データを収集しました。データには頭部・手首カメラの映像、ロボットの状態と動作、10本の指先の触覚センサーから得られる力・変形情報、自然言語の指示が同期記録されています。T-Rexは、まず22,889時間の人の一人称視点映像から視覚・動作の知識を学習し、次に収集した触覚付きデータでロボット固有の接触動作を中間学習したのち、作業ごとに約100件の実演データでファインチューニングを行っています。
評価実験では、ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の実環境タスクを実施しました。各手法における平均成功率は次の通りです。
| モデル構成・手法 | 平均成功率 | 備考 |
|---|---|---|
| T-Rex（提案手法） | 65% | パナソニックHD調べで世界最高性能（2026年11月5日時点） |
| 触覚除外モデル（T-Rexから触覚情報を除外） | 42% | 触覚情報と高速反応機構の有効性を検証 |
| 従来の最高性能比較手法 | 35% | 先行する既存技術モデル |
今後の展開と公開情報
パナソニックHDらは今後、製造現場における部品の挿入・取り外し・ねじ締めや、物流現場での柔軟物・壊れやすい物品の取り扱いなど、細かな力加減や接触状態の調整が必要な作業へのロボット支援を目指すとしています。本研究に関する論文「T-Rex: Tactile-Reactive Dexterous Manipulation」はarXivおよびプロジェクトサイトにて公開されています。
Mr.ガジェット製造時のねじ締めや物流での壊れやすい物品のピッキングなど、微妙な力加減が求められる現場への応用が想定されています。
Ms.ガジェット産業ロボットが壊れやすい柔軟物を人のように優しく扱えるようになれば、自動化できる工程も広がりそうです。
- 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。
卵の移し替えや電球のねじ込みといった力加減がシビアな12種類の作業で、触覚なしの42%から65%まで成功率が上がっている点に効果の大きさを感じます。