概要

私は電子工作と別にピアノも趣味なのだが、最近は有名どころのクラシックを弾いている。
例えば、ショパン・ベートーヴェン・リストなどだ。

ただ弾くだけでも楽しいのだが、演奏が音だけでなく視覚でも楽しめると良いかな、と思い、ピアノ演奏を可視化する装置（以下、ピアノディスプレイ）を作ってみた。

こんな感じ。

ピアノ演奏を可視化する装置作ってみた。
1320個のフルカラーLEDを使ってます。
ピアノを音と目で楽しむ！！#MFKyoto2020 #作品発表 pic.twitter.com/9QX18yCkYE
— 水田かなめ (@kmizta) May 2, 2020

また、このピアノディスプレイはMaker Faire Kyoto Online 2020にもオンライン出展した。この記事ではその製作過程を述べる。

背景

よくYoutubeでクラシックピアノ演奏動画を見たりするのだが、ある日Rousseau氏の動画を見かけた。

www.youtube.com

Rousseau氏はピアノの演奏とその演奏を可視化した動画を組み合わせて非常にきれいな作品を投稿している。
どうやら、動画の上半分は記録したMIDIをもとに動画を生成し、上下で動画を組み合わせているようである。

めっちゃきれいやん、と思い、早速自分でも作ってみることにした。
ただ、動画で後から組み合わせるのではなく、リアルタイムに可視化するディスプレイとした。

CADでハードウェア設計

Fusion360を使って設計をすすめる。
今回、ピアノの実寸大でディスプレイを開発するため、横幅は1mを超えるサイズになる。

f:id:kaname_m:20200502143222p:plain

鍵盤それぞれに対し、15個のフルカラーLEDを配置した。（後述：NeoPixel）
ピアノの鍵盤は88鍵あるので、全部で1320個のフルカラーLEDを使用している。また、光らせた時に見栄えが良くなるよう、前面にはスモークアクリル板を設置している。

f:id:kaname_m:20200502143434p:plain

ちなみに、Fusion360のレンダリング機能を使うといい感じの画像も作れる。それっぽいそれっぽい。

f:id:kaname_m:20200502143504j:plain

できるだけスタイリッシュな見た目にするため、極力前面にはネジなどの機構部品が見えないようにした。
アクリルの四隅の支持材も同様にFusion360で設計して、３Dプリンタで印刷した。

2枚のアクリル板の四隅を支える部材を印刷。いい感じいい感じ。 pic.twitter.com/z0KZWx0Paq
— 水田かなめ (@kmizta) April 29, 2020

実際に作っていく

ハードウェア設計が終わったら、実際にものを集めて作っていく。

まずは、鍵盤サイズのアクリル板を用意する。

f:id:kaname_m:20200502143442j:plain

アクリル板の上にNeoPixelのLEDストリングを切って貼っていく。
今回使用したのはWS2812の300個/5mのものだ。

ALITOVE WS2812個別アドレス指定可能LEDストリップライト5m 300LEDピクセルフレックスランプドリームカラー非防水黒いベース PCB ＤＣ５Ⅴ

メディア:

この際、鍵盤の寸法にピッタリ合うよう、コンマ1mm単位で位置を調整する必要がある。

f:id:kaname_m:20200502143449j:plain

LEDストリングを貼り終えたら、全てのストリング１つ１つ配線していく。

このとき注意しなければいけないのは、電源ラインである。
LEDストリングは接続数が増えていくと電流量が結構ハンパないことになるため、単純にストリングを全接続すると末端のLEDはまともに光らなくなる。
例えば、今回使用しているNeoPixel(WS2812B）は、LEDを白色最大光量にすると大体1個50mA消費する。
両手で10鍵押し続けると、15x10=150個のLEDが光り、単純計算で7.5Aの電流が流れることになる。

もちろん、実際には白色には光らせないのでもう少し電流量は少なくなるのだが、単純にLEDストリングをつなげると、末端のLEDに供給されるまでに電圧降下してしまい、以下のツイートのようにまともに光らなくなる。

わかった！　ストリング長すぎて先に行くほど電源電圧が落ちてるんだ。
青や緑LEDは赤と比べて電圧降下が大きいから、電圧が落ちると白のつもりが赤く光る。
写真は下から電源・信号を供給してるけど上の方は真っ赤。点灯数を増やすほど（電流が増えるほど）顕著になる pic.twitter.com/PIFzigl3km
— 水田かなめ (@kmizta) April 11, 2020

というわけで、このピアノディスプレイでは銅テープをバスバーとしてディスプレイの上下に配置し、そこからそれぞれのLEDストリングに電源を供給することとした。

f:id:kaname_m:20200502143452j:plain

銅テープは５ｍｍ幅のものを用いた。

3M 銅箔テープ No.CU-35C 5mm幅 x 20m

メディア: Tools & Hardware

ちなみに、LEDストリングの信号ラインをつなげるために合計87本の短い単線をつなげた。これが一番疲れた気がする・・・。

f:id:kaname_m:20200502143500j:plain

ソフトウェア

さて、次にソフトウェアの話。
今回はESP32を使って開発した。

MIDIをESP32で読み取る

ピアノディスプレイでは、電子ピアノのMIDI OUTをESP32で読み取っている。

ArduinoでMIDIを解析する方法としては、以下の記事が詳しい。

qiita.com

MIDI OUTは、基本的には31.25kbpsのUART信号なので、マイコンで簡単に読み取ることができる。
ただ、出力信号とマイコンの入力はアイソレートする必要があり、高速フォトカプラが必要だ。

f:id:kaname_m:20200502143703p:plain — MIDI標準ハードウェア（MIDI1.0規格書より）

このあたりのハードウェア仕様はMIDI1.0規格書に詳しく記載されている。
規格書には、MIDIに適合する高速フォトカプラのリストも記載されている。

NeoPixel

みんな大好きNeoPixel。 使い方についてはネット上に多く記事が存在するので、ここでは多くは書かないが、今回はFastLEDライブラリを使用した。

github.com

NeoPixelのライブラリとしては、FastLEDの他にAdafruit_NeoPixelがあるが、Adafruitのライブラリは以下のツイートのようにLEDを多数接続した際に正しく点灯しないため、ピアノディスプレイのように多数のLEDを接続する場合はFastLEDがオススメだ。

300LEDのNeoPixel（WS2812B）を買ったのでAdafruitのライブラリとFastLEDで試してみたら、Adafruitの方は無信号（All黒点灯）にしても正しく点灯しなかった（写真）。FastLEDは全て正しく点灯。大量のNeoPixelを使うときはFastLEDの方がいいみたい pic.twitter.com/ihkg53Du7R
— 水田かなめ (@kmizta) March 7, 2020