eVY1シールドと映像をWeb MIDI APIでコントロール ヤマハVisual Performerで撮って出し

　「どれみ」が歌えるなら映像にも「どれみ」を出したい。ということで。eVY1シールドとiPadでなんかやるシリーズ。

eVY1シールドと映像をWeb MIDI APIでコントロール ヤマハVisual Performerで撮って出し / eVY Shield and iPad, Visual Performer
　今回の動画はiPadのアプリで撮影してそのままYouTubeにアップロード。編集はいっさいしていません。
　eVocaloidを載っけたNSX-1搭載のスイッチサイエンスのeVY1シールドをWeb MIDI APIで演奏。ノート情報をWi-FiでiPadに送り、映像もリアルタイムでコントロールします。
　ノート情報の送信は、NSX-1を楽しむためのサンプルApps（JavaScriptで動作）を公開しているYamaha-WebMusic GitHubPageにあるtext-inputで。
　撮影＆エフェクトはヤマハのiOS App、Visual Perfomerを使用。これは演奏を視覚的に表現できるApp。Appは無料！ ただし、無料で使えるビジュアル・エフェクトのパターンは確か3種類。有料で追加ができます（どれみと出るやつは有料）。私は全部入りのIAPのSpecial Package（300円）を購入して使用しています。
　ビジュアルエフェクトのパターンは2つまで合成が可能。ノート情報を視覚化したもののほか、iOSデバイスのカメラで撮影したものもリアルタイムで合成できます。
　さらに、そうして生成した映像をカメラロールに保存可能。YouTubeにアップロードまでできてしまうんです。
　撮影の際には、iOSデバイスのマイクで拾った音を録音して、映像に収録することも可能。今回の動画も内蔵マイク使用です。外部接続したオーディオインターフェイスも利用できれば音質的にありがたいのですが、対応してないようです。ぜひ、対応してほしいところなんですが。
　で、今回のポイントは、PCとiPadが無線で接続されているところ。あまり知られてないようですが、Visual Perfomerは有線接続なしでリアルタイムにビジュアルエフェクトをコントロールできます（ノートで映像が変化する）。パターン切り換えはiPad側でやっています。処理が間に合わないのか、ときどき映像が止まったりしてますが。iPad 2じゃきついんですかね。
　PC－iPad間の演奏情報のやりとりには例によってrtpMIDIを使用。
　ちなみに、iOSデバイス同士でも無線接続でコントロールが可能。以前、iPhoneのTNR-iでiPadのVisual Performerをコントロールするビデオなんかも作っています（現在のバージョンで同じことができるか不明）。
（追記）
　このネットワーク接続ですが、TNR-iの現行バージョンはできません（もともと非公式で、設定項目もなかったわけですが）。また、今後、ネットワークMIDIに対応する予定もないとのこと（ヤマハのサポートに確認済み）。残念！　TNR-iとVisual Performerは組み合わせとしてすごくよかったのですが……。
（追記終わり）

TENORI-ON makes a visual image – Visual Performer / TENORI-ONが映像を奏でる
　これもiPhoneとiPadは無線で接続してるわけです。TNR-iとVisual Performerを同時に操作するのはちょっとたいへんではありますが。
　あと、最初の動画と2番目の動画では文字の大きさが違うのがわかるでしょうか。ご察しのとおり、文字の大きさはベロシティ（音の強さ）によって変わります。どちらも出力元がベロシティ固定なのでずっと同じ大きさになってます。ちゃんとしたキーボードで弾くともっと変化が出て楽しいです。
　ヤマハのiOS Appはいろいろ楽しい仕掛けがあって楽しいです。お試しあれ。

　PC-iOS間の無線接続の設定はけっこうてこずると思います（実際、すごく時間がかかった）。iOSデバイス同士のほうが簡単かもしれません。
　面倒ならハードウェアのMIDIインターフェイスを入手したほうがいいと思われます。
ヤマハ iPad/iPhone/iPod touch用MIDIインターフェース i-MX1