音楽を作ると聞くと、ピアノやギターなどの楽器、あるいはDAWと呼ばれる音楽制作ソフトを思い浮かべる人が多いかもしれません。しかし最近では、ブラウザだけで手軽に音楽表現を楽しめるサービスも増えています。
その中でもユニークなのが、手のジェスチャーを使って音楽をコントロールできるWebツール、Gesture Synthです。
Gesture Synthでは、パソコンのカメラに向かって手を動かすことで、コードや音楽の雰囲気をリアルタイムに変化させることができます。楽器を演奏する代わりに「手の動きそのもの」がインターフェースになるため、一般的な音楽制作ツールとはかなり異なる体験を楽しめます。
手を動かすだけで音楽が変化する
Gesture Synthの特徴は、その操作方法のわかりやすさにあります。
カメラへのアクセスを許可すると、ブラウザ上で手の動きが認識されます。指の本数によって異なるコードを鳴らすことができ、手を閉じることで演奏を止めるといった操作も可能です。
さらに、手の高さによって音楽全体のエネルギー感も変化します。
手を上に動かすと、より明るく力強い雰囲気になり、逆に下へ動かすと落ち着いた印象になります。コードだけではなく、リズムやベース、ビジュアルエフェクトなども連動するため、単純な音の再生ではなく、自分の動きによって音楽全体を操作している感覚があります。
マウスやキーボードのボタンをクリックするのとは違い、体を使って音楽を変化させるところがGesture Synthの大きな魅力です。
音楽経験がなくても楽しみやすい
通常、作曲や演奏を始めようとすると、ある程度の知識が必要になります。
ピアノなら鍵盤の位置を覚える必要がありますし、ギターならコードを練習する必要があります。本格的な音楽制作ソフトでは、トラック、MIDI、エフェクト、テンポ、ミキシングなど多くの要素を理解しなければなりません。
Gesture Synthは、こうした複雑さをできるだけ減らしています。
ユーザーは音楽理論を細かく理解していなくても、指の形や手の位置を変えながら音の違いを体験できます。
そのため、ミュージシャンだけではなく、音楽制作をしたことがない人でも気軽に試すことができます。
「作曲する」というよりも、「動きを通して音楽を発見する」という感覚に近いツールと言えるでしょう。
Dreamy、Lo-fi、Cinematicの3スタイル
Gesture Synthでは、複数の音楽スタイルから好みの雰囲気を選ぶことができます。
用意されているのは、Dreamy、Lo-fi、Cinematicという3つのスタイルです。
Dreamyは、広がりのあるシンセサウンドを中心とした幻想的な雰囲気が特徴です。
Lo-fiでは、柔らかいビートや落ち着いたコード進行を楽しむことができ、リラックスした音楽を作りたい場合に向いています。
一方、Cinematicはよりドラマチックでスケール感のあるサウンドになっており、映像作品のBGMのような印象があります。
同じ手の動きでも、選ぶスタイルによってまったく異なる雰囲気になるため、何度も試したくなる仕組みです。
15秒の縦型ミュージックビデオも作成可能
Gesture Synthには、演奏するだけではなく、その体験を短い動画として残せる機能もあります。
ユーザーは約15秒間の縦型パフォーマンスを録画することができ、手の動き、音楽、ビジュアルエフェクトを組み合わせた動画を作ることができます。
この形式は、ショート動画との相性も良いでしょう。
TikTokやInstagram Reels、YouTube Shortsなどでは、短時間で視覚的に面白いコンテンツが注目されやすい傾向があります。
手を動かすだけで音楽と映像が変化するGesture Synthは、一般的な演奏動画とは違った見せ方ができるため、SNSコンテンツのアイデアとしても面白い存在です。
カメラ映像はブラウザ内で処理
カメラを利用するサービスでは、プライバシーを気にする人も少なくありません。
Gesture Synthでは、手の動きを認識するためのカメラ映像がブラウザ内で処理される仕組みになっています。
Webサイト上の説明によると、カメラフレームをサーバーへアップロードして保存する方式ではありません。
また、音声そのものはブラウザ側で生成されるため、マイクへのアクセスも必要ありません。
アカウント登録も不要なので、サイトを開いてすぐ試すことができます。
カメラを使いたくない場合にはキーボード操作も用意されており、数字キーなどを使ってコードを鳴らすこともできます。
そのため、カメラ環境がない場合でも基本的な音楽体験を楽しめます。
ブラウザ技術の面白さを体験できるサービス
Gesture Synthの魅力は、単なる音楽ツールという点だけではありません。
現在のWebブラウザでは、カメラ認識、リアルタイム処理、音声生成、アニメーション、録画といったさまざまな機能を組み合わせることができます。
以前なら専用のアプリをインストールしなければ実現できなかったような体験が、現在ではWebサイトを開くだけで利用できるようになっています。
Gesture Synthは、こうした新しいブラウザ技術の可能性を、誰でもわかりやすい形で体験できるサービスのひとつです。
特別な機材も、高価なソフトウェアも必要ありません。
必要なのは、対応したブラウザとカメラだけです。
音楽とテクノロジーを気軽に楽しみたい人におすすめ
Gesture Synthは、本格的な音楽制作ソフトの代わりになるものではありません。
しかし、それこそがこのサービスの面白さでもあります。
難しい設定を覚えることなく、手を動かすだけでコードが鳴り、サウンドや映像が変化する。
この直感的な体験は、従来の楽器や音楽ソフトとは異なる種類の楽しさがあります。
音楽制作に興味がある初心者はもちろん、インタラクティブアートが好きな人、Web技術に興味がある人、SNS向けの少し変わったコンテンツを作ってみたい人にも向いています。
ブラウザだけで体験できる新しい音楽表現に興味があるなら、gesture-synth.orgを一度試してみるとよいでしょう。
手を上げ、指の形を変えるだけで、普段とは少し違った方法で音楽と触れ合うことができます。