システム構成

システム構成は下図の通りで、複数の端末がそれぞれデータ連携・映像伝送をしながら壁面東映を実施している。

ハード構成 / データ通信設計

端末は、４つの端末が同時に運用され、Skyway を通じてデータやメディア情報を送受信する設計。

Device	Description
`Wall Display`	壁面投影のプロジェクタに接続されている PC
`CONN PC`	Digital Human システムを動かすための PC
`Tablet (Staff)`	スタッフ運用用のタブレット
`Tablet (Guest)`	ゲストの体験用のタブレット

Skyway 公式リファレンス

各端末間の連携にデータ通信には、Skyway による WebRTC でのデータ通信で行う。

以下の用途で、Skyway で提供されている各 API が利用される。

API	用途
Display Stream	Digital Human の映像を伝送する
Audio Stream	・ユーザの発話・Digital Human の音声
Data Stream	・Tablet で押されたボタンの情報・今表示されている画面の情報・Digital Human から話し出してほしい時のトリガーワード

. .

以下の流れで、ユーザ音声を CONN に転送し、回答の音声 / 映像を WebRTC タブレットのマイクで音声を送信して、壁面コンテンツに反映する。

今回、Web アプリと Digital Human の連携には、Skyway を活用するが、以下の通り情報ごとに Channel を使い分ける。

ユーザ音声は、マイク経由で Skyway を通じて、CONN の音声認識システムに届けられる。
その後は CONN の PC 内部で、回答音声の発話 / モーションの実行し、映像・音声チャネルでそれぞれ、プロジェクターと繋がっている PC に Skyway を通じて転送される。