Skip to main content

システム構成

システム構成は下図の通りで、複数の端末がそれぞれデータ連携・映像伝送をしながら壁面東映を実施している。

ハード構成 / データ通信設計​

ハード構成​

端末は、4つの端末が同時に運用され、Skyway を通じてデータやメディア情報を送受信する設計。

DeviceDescription
Wall Display壁面投影のプロジェクタに接続されている PC
CONN PCDigital Human システムを動かすための PC
Tablet (Staff)スタッフ運用用のタブレット
Tablet (Guest)ゲストの体験用のタブレット

Skyway 公式 リファレンス

データ通信設計​

各端末間の連携にデータ通信には、Skyway による WebRTC でのデータ通信で行う。

以下の用途で、Skyway で提供されている各 API が利用される。

API用途
Display StreamDigital Human の映像を伝送する
Audio Stream・ユーザの発話
・Digital Human の音声
Data Stream・Tablet で押されたボタンの情報
・今表示されている画面の情報
・Digital Human から話し出してほしい時のトリガーワード

. .

ユーザが話しかけて、壁面の CONN が回答するメディアの流れ​

以下の流れで、ユーザ音声を CONN に転送し、回答の音声 / 映像を WebRTC タブレットのマイクで音声を送信して、壁面コンテンツに反映する。

Digital Human とのやりとり​

今回、Web アプリと Digital Human の連携には、Skyway を活用するが、以下の通り情報ごとに Channel を使い分ける。

ユーザ音声は、マイク経由で Skyway を通じて、CONN の音声認識システムに届けられる。
その後は CONN の PC 内部で、回答音声の発話 / モーションの実行し、映像・音声チャネルでそれぞれ、プロジェクターと繋がっている PC に Skyway を通じて転送される。