|
喋る３Dキャラ - SeeStorm ブロードバンド時代のコールセンターはオペレータとのTV会議が基本になるでしょう。オペレータを画面上に映さずにオペレータの動きと喋りをそのまま３Dキャラの動きとして相手の画面に表示できます。コマースサイトや企業のWebサイト、一般のTV会議でも同様です。これにより効果的な広告宣伝、ＣＲＭが可能になります。 SeeStorm社のソフトウエア製品がこの機能を提供します。 デモ：この 顔写真 と 声 だけで このビデオ が作れます。 SeeStorm SeeVoice Real-Timeのご案内 SeeStorm SeeVoice Real-TIme＋ヘッドトラッキングのご案内 以下はSeeVoice Real-Time + Head Trackingの説明です。 ＰＣ上で合成テレビ会議を、３Ｇ携帯上でアバタを使ったビデオ・コミュニケーションを展開できます。 概要 SeeVoice
Real-Time(SeeVoice RT)は音声ストリームから上半身の３Ｄアバタが話すビデオを自動的に、リアルタイムに生成する、SeeStormの革新的なソフトウェア製品です。 SeeVoice
RTには3G携帯用とPC用の2種類の構成があります： •
SeeVoice RT 3Gサーバ用ソフトウェア。アバタを使ったテレビ通話を携帯端末上で可能にします。 •
SeeVoice RT PCはアバタを使った合成テレビ会議をＶｏＩＰ上で可能にします。 SeeVoice
RTはケーション層のサービスなので、サービス・インフラに直ぐ導入できます。 SeeVoice
RTで仮想ビジュアルコミュニケーションを •
ユーザの声の通りにアバタが話すアニメーションをリアルタイムに作成するので、３ＧやＩＰでの音声だけのコミュニケーションをビジュアル化できます。又、ビデオ会議の画面に映る人が話し、動く通りにアバタが話し、動く合成ビデオをリアルタイムで作れます。本人の映像の代わりにアバタの映像をＴＶ会議で使うと、話者のプライバシーが保護でき、話者の見栄えを良く見せられたり、エンターテインメントに応用できます。
•
IVRのビジュアルな代替案としても使えます。IVRは音声しか扱いませんが、ブロードバンド時代のIVRは、キャラがサービス提供側を代表してディスプレイ上で喋る、というビジュアルなものになります。 •
アバタには自然な唇の動きをさせ、感情も表現できるので、リアルタイム・アバタを使ったエキサイティングなマルチメディアコミュニケーションを提供できます。
SeeVoice RTを使ったサービスの概念図 ビデオの合成方法 •
ユーザの音声を入力すると、その通りに喋る3Dアバタのアニメーションが自動的に生成されます。 このビデオはSeeStorm
LipSync speech-to-motionアニメーション・エンジンが生成します。これはSeeVoiceソフトウェアの核です。 •
LipSyncエンジンはSeeStorm独自の音素認識技術を使います。これは音声信号を分析しその音素を識別します。
抽出した音素はアバタ・アニメーション・コマンドに変換し、これを受信したアバタはその通りに口を動かします。アバタの唇はユーザのスピーチに同期して動き、顔の他の部分は唇に従って動きます。 •
また、ユーザのビデオ映像に従ってアバタが動き喋るアニメを自動生成できます。(オプション) ユーザのビデオからアバタ・アニメーションを作成（オプション） リアルタイム・アバタ・コミュニケーションはユーザのビデオから作ったアバタ・アニメーションを使うと更に効果的です。
このアニメーションではアバタはビデオの中の彼、彼女の頭や体が動く通りにリアルタイムで動きます。これはReal-Time
Face Features Tracking(FFT)機能を使います。 FFTはSeeStorm独自のコンピュータ・ビジョン技術で、人の顔とその特徴を認識し、ビデオ映像上でそれを追跡します。 FFTが最良に機能するには、十分で均一な照明、顔がくっきり見え、両目が識別でき、頭が滑らかに動く必要があります。顔と表情変化のデータがアバタ・アニメーション・コマンドに加えられ、唇の動きや感情やアバタ自身の動きを補って表示します。 SeeVoice
RealTimeはどう動くか SeeVoice
RTはアバタをアニメーション化するために音声入力信号を自動的にリアルタイム処理します。 •
音声入力信号を分析し、スピーチ音素を基にアニメーション・コマンドを生成します。
•
音声ビデオ信号を分析し、ユーザの動きを基にアニメーション・コマンドを生成します。 •
アバタＩＤと背景ＩＤを使ってサービス・コレクションからアバタと背景を呼び出します。 •
アニメーション・コマンドを選んだアバタに適用し、合成ビデオストリームを生成します。 アバタと背景はビデオ呼出しセッションの間に適宜変更できます。
生成したビデオを受信者に向けて送信します。 アバタコンテンツの生成 ユーザが自分、友人、仲間、セレブの写真から自分でアバタを作れるともっと楽しくなります。（肖像権にご注意） この機能はSeeStorMeが提供します。これは1つの写真から喋るキャラを自動作成します。SeeStorMeはSeeVoiceのアドオンとして提供します。 コンテンツ・プロバイダはAvatarEditor内でアバタを作成できます。これはSeeStormのアバタ・オーサリング・ソフト・ツールで、SeeVoiceと共に提供します。AvatarEditorを使うとプロのデザイナでなくても正面写真から素敵なアバタを作れます。
アバタは3Dコンテンツ作成用の標準ソフトウェアでも作成できます。 3Dモデルを3ds MaxやMayaからSeeStormアバタ形式に変換するプラグインがSeeVoiceパッケージに入っています。 アプリケーション •
3Gでのアバタを使ったビデオ通話 •
ＰＣでの合成ビデオ・ＴＶ会議 •
モバイル・ビデオIVR •
ビジュアル・コールセンター 対象顧客 •
付加価値サービス・プロバイダ •
移動体通信事業者 •
携帯電話会社へのサービス/システム・プロバイダ •
IM/ソフトフォン開発企業 •
VoIPサービス・プロバイダ ユーザのメリット •
全く新しいマルチメディア体験 •
リアルタイム・ビジュアル・コミュニケーションで変身 •
携帯でビデオコミュニケーションを 市場プレーヤーの利点 •
３Ｇ加入者にビデオ通話サービスを提供 •
次世代サービスから新規収益 •
既存の会議サービスからの収益増大 •
ユーザの新規獲得、維持 •
ユーザ・コミュニティーの開拓 •
モバイル・データ・トラフィックの増大 •
他のサービスと統合 •
強力な差別化手段 適用ＯＳ Windows Linux 入出力 入力； •
G.711(PCM A-law/ U-law)、PCM-LE、AMR-NB/WB、MP3、Nellymoser、AAC/AAC+(LC)、EVRC-A形式の音声ストリーム •
ビデオ(オプション) 最低40x40pix大の顔を含むこと。
ビデオストリーム形式： -
(RTPペイロード・ヘッダ付)パケット形式又はH.263, MPEG4 SP又は H.264 BP形式の非パケットビットストリーム -
RGB24, RGB32又はplanar
YUV420形式の生ビデオ ビデオ解像度： -サブQCIF(128x96),QCIF(176x144),
CIF(352x288)又はカスタム •
アバタのID又はFRFファイル(SeeStorm独自形式のアバタ) •
BMP, JPEG, PNG, GIF形式の背景の色又はID •
感情状態のID（オプション） 出力； ビデオストリーム： -
(RTPペイロード・ヘッダ付)パケット形式又はH.263, MPEG4 SP又は H.264 BP形式の非パケット・ビット・ストリーム. -
RGB24, RGB32又はplanar
YUV420形式の生ビデオ ビデオ解像度：Sub-QCIF(128x96), QCIF(176x144),CIF(352x288)又はカスタム SeeStormについて 1999年設立以来、SeeStormはコンピュータビジョン、洗練された音声処理、speech-to-motion３Ｄアニメーションを含む合成ビデオの革新的な開発企業でした。今日、SeeStormは合成ビデオサービス用に直ぐ使える完璧なソフトウェア製品を提供します。 SeeStormの製品を使うと、携帯電話サービス会社、サービス・プロバイダ、システム・プロバイダ、Ｗｅｂサービスクリエイタ、ソフトフォンやＩＭの開発者、VoIPサービス・プロバイダは革新的な合成ビデオサービスをエンドユーザに提供して頂けます。 SeeStormはソフトウエア・エンジンの世界的なリーダー企業であるSpiritDSP社（www.spiritdsp.com ）の子会社です。SpiritDSPは140人のプロフェッショナルを雇用し、1992年以来世界でソフトウエア・ライセンスのビジネスを展開しています。 Spiritの今日のフォーカスは音声、オーディオ、ビデオコミュニケーションソフトウエア製品です。SpiritDSPの顧客はAdobe, ARM, Blizzard, BT,
Cisco, Compal, Ericsson, HP, HTC, Huawei, Korea Telecom, 京セラ, LG, Microsoft, NEC, Nortel Networks, Oracle, Polycom, Quanta,
Radvision, Reigncom,Samsung, Siemens, Texas Instruments, Tensilica,東芝, ZTE, その他200社以上のOEM企業やソフトウエアベンダに製品を提供しています。 SpiritDSPのソフトウェアは世界80カ国以上で、1億以上の音声チャネル上使われています。 |
