Overview
Kalidoface3D というブラウザから3DモデルをトラッキングできるツールとOBS (Open Broadcast Software) を使って Mac 使いでもお手軽にアバターを纏ってオンラインMTGに参加できることが判明したのでその手順についてまとめます。
僕自身アバターを纏って Zoom に参加することにはずっと興味がありましたが、如何せん現状の VR 事情だと必要機材が多かったり、メインは Windows の世界線だったりしてそもそも始めるのにハードルが高いなーと感じてたのですが、この Kakidoface はブラウザで提供されてるツールなので OS を選ばずに使うことができます。
ブラウザなのでスマートフォンやタブレットからもアバターを纏うことが可能になります。
必要機材
- Mac ( 202201現在M1Max推奨 )
- ブラウザ（なんでもいいですが Safari だと ボディトラッキングは許可されてないそうです）
- Kalidoface 3D
- Open Broadcast Software
- 配信したいツール（今回は Zoom を想定しています。）
手順
Kalidoface 3D にいってお好きなアバターを選ぶ
Kalidoface 3D - Face & Full Body Tracking にいってお好きなアバターを選びます。
OBS をDL して入力ソースの設定を行う
OBS の DL & Install
Open Broadcast Software から Mac 版を DL してきて起動します。
起動すると最初に使用用途を聞かれるのでどれか適当に回答してください。今回は仮想カメラを使って配信したいだけなので一番下を選択しました。
入力ソースの設定
慣れてないとまず OBS の使い方でつまづきます。
OBS はあくまで仮想カメラなのでカメラに何を入力するのか、という入力ソースを指定する必要があります。今回はブラウザのツールを仮想カメラで表示させたいのでブラウザをキャプチャするのでソースにブラウザを指定します。
ソースタブの中で右クリックして追加 > ウィンドウキャプチャを選択します。
Mac で画面収録が許可されていればウィンドウの一覧で Chrome が出てくるはずです。繰り返しですが、 OBS に画面収録の権限を OBS に渡しておく必要がある ので、もし Chrome がでてこない、という方は Preference > セキュリティとプライバシー > 画面収録で OBS を許可しておきましょう。許可したら OBS 再起動してくださいね。
ウィンドウキャプチャをソースに設定するときの画面が出てくるのでこの画面で Chrome を選択します。
プレビュー画面で Chrome が表示されない場合は空の名前でウィンドウを表示 にもチェックを入れておきます。（最初これがやらないとブラウザの画面がキャプチャされませんでした。何か更新処理でも走ってるのかもしれないです）
ここまでくるとブラウザが OBS にキャプチャされるようになるはずです。キャプチャされたのを確認したら OBS でキャプチャされてる画像が投影されてる画面で右クリックして「プレビュー有効化」を選択します。
]
これで OBS 側の基本的な設定は終わりです。Kalidoface3D で動いてるアバターのキャプチャが表示されていることを確認したらコントロールタブの「仮想カメラ開始」をクリックして入力ソースを仮想のカメラとして認識させ始めてください。
うまくいくと以下の画像のようになります。
※ OBS ではブラウザをキャプチャしてるだけなのでブラウザのフォーカスを他のタブにしたらアバターは表示されなくなるのでタブの移動は注意してください。
以下の記事も詳しいです。
Zoom で OBS の仮想カメラをカメラのソースに指定する
OBS 側で配信開始をしたら、一度 Zoom を再起動してください。そしたら再起動後にビデオの入力ソースにOBSの仮想カメラあることを確認して、選択してください。
Zoom の設定画面で以下のようになると思います。
ここまできたらもう Zoom MTG でビデオを ON にした段階でアバターを纏った姿が配信されます。
配信時の Tips
クロマキー設定して OBS の背景を透過させる。
アバターの背景を透過させたい場合はグリーンバックにする必要があるので、OBS 側でその設定を行い、Zoom 側で背景とフィルター >「グリーンスクリーンがあります」を選択します。
このブログが詳しいですが、やりかたとしては OBS のキャプチャしてるシーンの箇所でプレビュー有効化した時の要領で右クリック > フィルタを選択。
以下の画面のエフェクトフィルタ > +ボタン押下 > クロマキーを選択します。
これで背景を透過できるようになります。
Zoom の解像度に合わせて OBS の出力を調整する
ブラウザで Kalidoface3D 開いて OBS でキャプチャして、Zoom でそのソースを参照する + 開発用途でクジラをわんさか動かしてたりすると PC が悲鳴をあげて、性能が著しく劣化します。
焼け石に水感ありますが、すこしでも負荷を下げるために Zoom での配信目的、というだけであれば OBS 側のキャプチャ結果の解像度を Zoom に合わせて下げたりすることもできます。
OBS の設定 > 映像 で最適なものに変更します。今回は Zoom で MAX が HD なので 1280x720 に出力を合わせてしまっても問題ありません。
感想
ツールのセットアップ周りはまだコツがいる、というか知らないとどうにもならない（僕も現職の VR チーム勢にめっちゃ質問してました）ということはありますが、今回の手順はあまりに簡単でもう Mac だからバ美肉できない、なんて言い訳は通用しなくなったなと思います。
とにかくこんなに簡単にできるとは思いもしませんでした。
そして一度アバターを纏うと全ての場所にアバターで露出したくなる衝動に駆られることがわかりました。プライベートな情報を秘匿しつつ、カメラOFFのときより動きがあるからコミュニケーションに齟齬が生じる可能性が少なさそうでとてもいいですね、アバター。
宿題系
Bluetooth との噛み合わせがイマイチ
Mac で kalidoface3D を OBS 経由で Zoom に配信する場合 Zoom 側で Bluetooth 接続機器が丸ごと死ぬという事象が発生しました。
これはなんで起きるのかまだわかってませんが、とりあえず Bluetooth で接続してたスピーカーからは相手の声が一切聞こえてこなかったです。
現状とりあえず有線接続の機器だと正常に動くので Zoom で配信するときは有線のヘッドホンをしばらくは使おうと思います。
~どこの噛み合わせが悪いのかまだ分かってません。むしろ上手くいった方いらっしゃったら教えてください。~
=> これはおそらく CPU 使用率が高すぎて Bluetooth が不安定になってる、という状況になってました。
追記
20220125
Kalidoface3D を Mac で使用する最大のボトルネックが PC のパフォーマンスで、アバターかぶって Zoom で配信してる最中は、めちゃくちゃPCが重たくなってしまうのがかなりストレスだったのですが、2022年になって M1Max を手に入れて再度同じ構成で試したところ、気持ち悪いくらいサクサク・ヌルヌルで最高の体験を手に入れてしまいました。
現状手元の M1Max の性能は以下ですが、この性能では Docker を立ち上げた状態で OBS を起動し、仮想カメラ経由で Zoom に配信するという Intel Mac であればファンが悲鳴をあげ、CPU使用率も常に天井に張り付いてしまい、他のアプリケーションの動作に影響を与えてしまうような状態にしても M1Max では何の問題もありません。
ただ、バッテリー長持ちと言われてる M1Max でさえそこそこの速度で電力を消費していきます。
とはいえ気になるといえばそれくらいです。
必要機材には M1Max 推奨と記載しましたが、もし快適なアバター生活を Mac で楽しみたいなら M1Maxは必須 、いや M1Max は人権 と言っても過言ではないでしょう。
