Skip to main content

システム構成

システム構成は下図の通りで、複数の端末がそれぞれデータ連携・映像伝送をしながら壁面東映を実施している。

ハード構成 / データ通信設計​

ハード構成​

端末は、４つの端末が同時に運用される

  • Wall Display: 壁面投影のプロジェクタに接続されている PC
  • CONN PC: Digital Human システムを動かすための PC
  • Tablet (Staff): スタッフ運用用のタブレット
  • Tablet (Guest): ゲストの体験用のタブレット

データ通信設計​

各端末間の連携にデータ通信には、Skyway による WebRTC でのデータ通信で行う。

以下の用途で、Skyway で提供されている各 API が利用される。

API用途
Display StreamDigital Human の映像を伝送する
Audio Stream・ユーザの発話
・Digital Human の音声
Data Stream・Tablet で押されたボタンの情報
・今表示されている画面の情報
・Digital Human から話し出してほしい時のトリガーワード

Digital Human とのやりとり​

今回、Web アプリと Digital Human の連携には、Skyway を活用するが、以下の通り情報ごとに Channel を使い分ける。

ユーザ音声は、マイク経由で Skyway を通じて、CONN の音声認識システムに届けられる。
その後は CONN の PC 内部で、回答音声の発話 / モーションの実行し、映像・音声チャネルでそれぞれ、プロジェクターと繋がっている PC に Skyway を通じて転送される。