STマイクロエレクトロニクス（NYSE：STM）とLeopard Imaging Inc.は、ヒューマノイド・ロボットなどの先進的ロボット・システムを対象としたオールインワン型のマルチモーダル・ビジョン・モジュールを発表しました。このモジュールは、2D画像および3D深度センシングに人間のようなモーション認識を組み合わせ、NVIDIA Holoscan Sensor Bridgeテクノロジーを介してNVIDIA Jetsonプラットフォームとプラグ・アンド・プレイ接続が可能です。また、ロボット開発用オープン・プラットフォーム「NVIDIA Isaac」による全面的なサポートが提供されます。
製品概要と設計の簡略化
同モジュールは、STのイメージング技術、3Dシーン・マッピングおよびモーション検知機能を、NVIDIA社のHoloscan Sensor Bridgeテクノロジーと組み合わせて開発されました。「NVIDIA Jetson」および「NVIDIA Isaac」とネイティブに統合されています。これにより、ヒューマノイドに求められるサイズや重量、電力の制約の中でも、ビジョン・システムの設計を簡略化し、設計期間を短縮できます。
Ms.ガジェットNVIDIAプラットフォームとの深い統合
NVIDIA Holoscan Sensor Bridgeを搭載したこのモジュールは、イーサネット（Ethernet）経由でNVIDIA Jetsonとシームレスに統合され、リアルタイムでのセンサ・データ取り込みを可能にします。さらに、オープンなAIモデル、シミュレーション・フレームワーク、ライブラリを提供する「NVIDIA Isaac」とも統合されます。これには、ビルド・システム、アプリケーション・プログラミング・インタフェース（API）、移動ロボット用に最適化されたAIアルゴリズム、サンプル・アプリケーション、ドメイン・ランダム化、センサ・モデルを含むシミュレーション環境などが含まれます。
Ms.ガジェット主なセンサー構成と仕様
Leopard Imagingのビジョン・モジュールには、STの以下の製品が組み込まれています。2D画像、モーション検知、3D深度の3つの領域をカバーするマルチセンサ構成です。
| センサー種類 | 製品名 | 主な仕様・機能 |
|---|---|---|
| 2D画像センシング | VB1940（車載グレードRGB-IR 5.1メガピクセル イメージ・センサ） | ローリング・シャッターとグローバル・シャッターの両方式をサポート。「ST BrightSense」製品ファミリ一部として、一般/産業用途向けV**943もリリース。モノクロまたはRGB-IRオプションあり。 |
| モーション検知 | LSM6DSV16X（6軸IMU） | エッジ上AI処理用の機械学習コア（MLC）、低消費電力センサ・フュージョン（SFLP）、ユーザ・インタフェース検出用のQvar静電センシング機能を内蔵。 |
| 3D深度センシング | VL53L9CX（dToFオールインワン型LiDARモジュール） | 「ST FlightSense」製品ファミリ一部。最長9mの高精度測距、54 x 42ゾーン（約2,300ゾーン）の解像度、55° x 42°の視野角、1°の角度分解能。短距離/長距離測距、小さな物体検知を最大100fpsで可能。 |
dToF（ダイレクト・タイム・オブ・フライト）方式のLiDARモジュールは、高精度な3D深度情報を提供します。また、IMUはエッジでのAI処理能力を備え、静電センシングによるユーザー検出も可能です。
Ms.ガジェット開発者へのメリットと市場への影響
このマルチセンシング・ビジョン・モジュールをNVIDIA Isaacツールと共に活用することで、ロボット開発者は学習に要する時間を短縮し、Sim-to-Real（シミュレーションから現実世界への適用）ギャップを短期間で解消することができます。STのアナログ・パワー・MEMS・センサ グループ マーケティング & アプリケーション担当バイスプレジデントであるMarco Angeliciは、次のように述べています。
「ヒューマノイドは研究プロジェクトやデモにとどまらず、製造や自動車工場、物流、倉庫、さらには小売、顧客サービスの分野にまで進出し、強力な新しい機器として幅広い役割を果たすことが見込まれています。Leopard Imagingとの協力を通じて、市場をリードする当社のセンサとアクチュエータを、NVIDIA社のロボット開発エコシステムとシームレスに統合した上で展開することにより、人間に似た認識能力を備えるフィジカルAIアプリケーションの普及を加速させます。」
Leopard Imagingの最高経営責任者（CEO）であるBill Pu氏は、以下のようにコメントしています。
「この開発エコシステム内でSTのセンサとアクチュエータを直接利用できるようになったことで、HSBインタフェースを介したヒューマノイド・ロボット・ビジョンのデータ取得とログ収集が標準化され、効率化されました。」
今後の展開
STは今後も、ロボットおよびエッジAI分野におけるNVIDIA社の主要パートナーとして、STのセンサやドライバ、アクチュエータ、コントローラ、および開発ツールとNVIDIA社のロボット開発エコシステム（高忠実度モデルと概念実証モジュールを含む）の統合を進めていきます。
※価格および発売日については、現時点では未発表です。詳細はSTマイクロエレクトロニクスまたはLeopard Imagingまでお問い合わせください。
最後までお読みいただきありがとうございました！
- 本記事の評価は当サイト独自のものです。
- 特段の表示が無い限り、商品の価格や情報などは記事執筆時点での情報です。
- この情報が誤っていても当サイトでは一切の責任を負いかねますのでご了承ください。
- 当サイトに記載された商品・サービス名は各社の商標です。
- 本記事で使用している画像は、メディアユーザーとしてPR TIMESより提供されたプレスリリース素材を利用しています。