先日は、
■ Scratchで素材を作る（グラフィック）【 Scratch 】
にてScratchのスプライトとコスチュームについて書きました。
Scratchの画面は
■ スプライト
■ 背景
で出来ているので、背景は画像を使う事になりますが、スプライトは
の場所で指定できますが、
の場所で 【 スプライトを選ぶ 】 を選択すると最初から用意されているスプライトを使用できます。選択後には、
の中からスプライトを選択できます。その上は
のように 【 描く 】 を選ぶと
のように何もないスプライトが追加されここで素材を作る事が出来るようになっています。そして、
は、ランダムで素材が呼び出されるようです。ここまでは、
■ 用意された素材を使う
■ 素材そのものを作る
と言う選択でしたが、
の 【 スプライトをアップロード 】 を選択すると事前に作成した画像ファイルを読み込んで使用する事が出来ます。
ファイル形式は、
のようになっており、
■ ＳＶＧ
のようにベクターグラフィックが使用できるようになっていますが、これとは別に
■ PNG
■ BMP
■ JPEG
■ GIF
のようなラスターグラフィックを使用できるようになっています。
スプライトには、複数のコスチュームを格納できるのでイメージとしては、
📁 ： スプライト
┃
┣ コスチューム １
┣ コスチューム ２
┣ コスチューム ３
┣ コスチューム ４
┣ コスチューム ５
のような構造になっています。その為、
コスチューム ⊂ スプライト
のような構造になっています。
■ スプライト
スプライトの編集をすると、
のような画面になっていますが、元から用意されているスプライトには
のように複数のコスチュームが配置されています。これが画像ファイルになりますが、この追加も
の場所から追加できるので、キャラのモーションを追加する際に新規のコスチュームを追加したい場合にもこの場所でスプライト内に配置する事が出来ます。
元から用意されているコスチュームも画像なので変更が出来るのですが、
のように開いたコスチュームも
のような形状で出来ているので、これを動かしたり意図を変えることもできます。
また、用意されているスプライトの多くはベクターグラフィックなので、
のようにコントロールポイントを扱えるようになります。これを使う事で
のように形状を経系する事が出来ます。ベクターグラフィックは、
■ ストローク ： ラインの部分
■ フィル ： 内部の塗りの部分
で構成されており、ベクターグラフィックは視点と終点で生成される線分が存在し、その線分と存在する頂点の負荷要素であるハンドルによって曲線補間の度合いを変更して形を作るような仕様になっています。
その為、ベクターグラフィックは
のような頂点とハンドルで構成された物を使用して線分や形状を作る事になりますが、この時に線分の始点と終点を繋いでできた形状の内部をフィルとして扱い、その部分に彩色をする事によって形状を扱える仕様になっています。
スプライトは形状の追加もできるので、
のようにパーツの追加が出来ますが、この時に
■ 線
■ 円
■ 四角形
■ 文字
のように形の決まった物を作る事が出来ますが、テキストだけは一つの塊になっているので、文字列を個別に変形させたい場合には個別のスプライトを作ってそこで図形を作って動かす事になります。
また、色も変更できるので、
のようにできますが、ベクターグラフィックからラスターグラフィックに変更する事もできます、これを行うと、
のようなドットの集合にする事もできますが、
■ ラスターグラフィック
■ ベクターグラフィック 
のようにラスターグラフィックではアンチエイリアシングが行われていないので輪郭にエッジが出ていますが、ベクターグラフィックの場合にはそれがありません。
そして、スプライトを編集すると、
■ コスチュームを描く場合
コスチュームを描く場合、先程の基本形状の組み合わせで形を作る事もできますが、それ以外だとペンツールで描く方法があります。Scratchで新規コスチュームを作る際にはベクターグラフィックの作業になるので、基本形状に頂点を追加して形状を変形していく事もできますが、ペンツールを使って手描きで描いた物を調整する事もできます、手描きで描いた場合、内部まで塗り込んでおくとその部分は、
のようにアウトラインの部分に頂点が密集するような作りになるので、ベクターレイヤーで絵を描くのと同じように描くことができます。その為、ペンで描くのもこんな感じで描いていく事が出来ますが、消しゴムを使って
のように消すと
のように形状のを加工できますが、ペンでレタッチをして隙間を消すと
のように外形部分だけ頂点が用意された状態になります。当然、この弔電は全て加工ができますから、
のように頂点の位置の変更ができますが、ハンドルを使うと
のような加工をする事が出来ます。そして、頂点がない場所をクリックすると
のように頂点が追加されます。その為、
のようにハンドルを一つの塊として扱う事もできますが、ハンドルを曲げることが出来るので
グ ラフィックツール
グラフィックを扱う場合、WINDOWSだと、ペイント３Dなども使えますがレイヤーがないので個別のファイルで素材を作て知っ事になりますが、レイヤーがある場合にはアニメーションGIFを作る時のようにレイヤー単位でパーツ分けをして作業をする事が出来ます。ペイント３Dについては、
の中で触れていますが、通常のラスターグラフィックだけでなく範囲選択をして3Dオブジェクトにする事で、ベクターの素材として使用する事が出来ます。これによりテクスチャーの張られたポリゴンのような扱いが出来るので、その素材の奥行きを変更する事で素材の位置の変更ででレイヤーの階層を使ったような位置関係の調整が出来るようになっています。
Scratchでは、ソフト単体で素材を作れるので、アプリケーションを作る上での
■ 素材
■ システム
の双方を1つのソフトだけで作れてしまう仕様になっています。
ただし、外部からの読み込みもできるので別のツールを使って素材を作る事もできます。画像の場合だと、
■ ラスターグラフィック
■ ベクターグラフィック
がありますが、ラスターグラフィックツールは、ドット集合体で絵を再現する仕様の物になります。なので、【 解像度 】 の概念があります。その為、
のようにドットの角が出るのがラスターグラフィックの特徴になりますが、この処理は 【 ドットの数 】 が座標になるので、整数の処理で色彩の情報を乗せる座標の指定をします。
基本的に表示機材がラスターグラフィックのようにピクセルの集合で解像度が指定されていますが、映像や写真も同様にラスターグラフィックが使用されています。3DCGもラスタライズでレンダリングをしているので表示の段階ではラスターグラフィックになっています。
ラスターグラフィックツールだと
■ GIMP
■ Krita
https://krita.org/jp/features-jp/
のようにオープンソースのツールもありますが、これとは別にフリーウェアの
■ メディバンペイント
も使用できます。ラスターグラフィックツールはドットの色の指定で画像を作っているので、
のような状態になりますが、この状態を解消する為にラスターグラフィックではアンチエイリアシングを適応して輪郭の違和感をなくすような処理が適応されています。
ラスターグラフィックについては、
の中で触れていますが、
輪郭部分に近似の色を並べるだけでも
のような違いが出ます。色数が少ないのでソフトシャドウが落ちているような感じになっていますが、同じ形でも二値とグレースケールで補完した状態では画像のような差が出ます。
■ ベクターグラフィックツール
ベクターグラフィックツールは座標を指定して座標間の線分の状態をハンドルによって曲線補間の度合いを指定して調整する物になります。2Dの場合だとドロー系ツールと言う名称で呼ばれていますが、Adobe Illustratorなどのツールがこの方法で画像を作る仕様になっています。オープンソースのツールだと、
■ InkScape
がありますが、3DCGツールもベクターグラフィックになります。この場合、SVG出力をすれば2Dのベクターグラフィックでの書き出しが出来るので、Blenderを使うとSVG形式で画像の出力ができます。
■ Blender
また、ポリゴンやパスだけでなくグリースペンシルを使えるので、アニメーションまで作れるのですが、YouTubeの公式チャンネルには、グリースペンシルを使ったアニメーションがアップされています。
あと、レンダリング時にコンポジットノードでピクセル化もできるので色々と選択肢がありますが、3DCGツールでもラスターグラフィックだけでなくSVG形式でのエクスポートもできるようになっています。グリ－スペンシルについては、
の中で触れていますが、3Dのビューポート上に絵を重ねることが出来るので3D作画が出来ます。また、
■ Blenderでの2Dの処理 【 Blender 3.2 】
の中で触れていますが、一つ前のバージョンの3.2からSculuptモデリングの時に頂点カラーの指定が出来るようになったので、更に色々な表現が出来るようになっています。
ラスターグラフィックとベクターグラフィックでは、
■ ラスターグラフィック
■ ベクターグラフィック
のような差がありますが、ラスターグラフィックは整数処理なので、 【 回転や拡大・縮小に弱い 】 と言う特性があります。これについては、
の中で触れていますが、ベクターグラフィックで作った物を回転させた状態でタイルにして複製すると、
■ ベクターグラフィック
のように読み込めてそのまま書き出せますが、ラスターグラフィックの状態で回転させると、
■ ラスターグラフィック
のように質感が変わってしまいます。また、少し調整しても
のようになるのでディテールが再現されなくなります。その為、こうした物はドットを打ち直したほうがきれいに仕上げることが出来るのですが、ベクターグラフィックを読み込んでソフト側で処理をした場合にはこうした問題が発生しなくなります。
音 を扱う
Scratchでは音も素材として用意されていますが、これも上部のタブで選択できるようになっていて、
のように最初の状態だとネコの鳴き声の音が配置されています。
この素材も
を選択すると
のように大量に配置された素材から音を選ぶことが出来るのですが、SEだけでなくループを選択すると音楽も用意されています。
ここでは、波形を調整できるので、音の状態を変更できます。
音については、
■ 音を扱う
の中でも扱っていますが、Scratchだけでも色々な音の変化を追加できます。
音の編集ですが、波形研修ソフトのように
のように範囲選択ができますが、選択した場所を切り取る事で音をトリミングする事もできます。選択した場所を切り取ると
のようになりますが、用意さえrているフィルターについては、選択した範囲に適応できるので、
のように加工できます。また、
のような範囲も速度を変えて遅くしてロボットを適応すると
のように波形を変形できるので、
の素材から
のような波形の音を作る事が出来ます。
ちなみに、素材については、
で触れていますが、Scratchの素材を使ってアプリケーションを作る事もできますが、画像の制作や音の調整を行う事もできます。また、録音もできるので、マイク入力が可能な条件だと、録音した音を加工して素材を作る事もできます。
音 素材を作る
音の素材を作る場合、
■ SE
■ 音楽
が存在しますが、最初のSEも録音素材を使う場合だとアフレコ素材と同じなのでドライの音（録音時におかしなノイズをかまない脳に素の状態で録音した状態）で録音してその後、調整をしていく事になりますが、シンセサイザーを使って作る事もできます。この時に
■ 波形編集ソフト
■ DAW（Degital Audio Workstation）
を使う事になりますが、前者が対象に対してへかを追加するだけなので、時間軸で管理できるので音圧の変化のみになります。これに対し、DAWはオートメーションを使う事で時間軸でのエフェクトの変化を追加する事が出来ます。
■ 波形編集ソフト
波形編集ソフトだとOSSの
■ Audacity
がありますが、このツールはトラック数が無制限なので、SEのように音の発生源が同じ（空間内での変化を考えない単音の場合）で、和音を作るような条件だと、DAWのシンセ音源のように3和音の縛りなどがないので自由な音作りができます。
■ Audacityのみで作った音（１）
■ Audacityのみで作った音（２）
の様な感じで音を作る事が出来ます。あと、音圧レベルを振り切らせると歪み系のフィルターをかけたような音になるので、三角波にそれを適応すると
■ Audacityのみで作った音（２）
のような音を作る事もできます。このように音圧レベルを振り切らせるだけでもオーバードライブやディストーションなどのような歪みが出ますが、この現象は音圧の上昇で発生するので、同じ周波数の音を重ねるだけでも同様に音やひずみます。
この辺りは高校の物理の 【 波動 】 の波の特性になりますが、音の場合
■ 同位相 ： 倍音効果
■ 逆衣装 ： NR処理
のような効果を得ることができます。その為、同じ音を複数のトラックに並べて重ねると倍音効果が発生するのも同位相の音同士の波の干渉の結果ですから波動のカリキュラムの中で登場する波の変化がそのまま当てはまります。
この辺りについては、
■ 音圧について
で触れていますが、波の変化で音も変わってきますし、音圧レベルが適正な状態を超えると音が割れるので適性や調整をしないとまともな音になる事はありません。その為、音圧を過剰に上げても音が安定する訳ではありませんから、上げ過ぎると動画内で行っているように音が破綻しますし、過剰に上げると歪系フィルターを適応したような音の変質が発生します。
また、Audacityではフィルターを使えるので、
■ 音圧について
のように三角波と元のオーディオを組み合わせてステレオ音源にした後にヴォコーダーを適応すると動画のような音の変化を適応する事が出来ます。
音については
でも触れていますが、基本的にフーリエ変換で波の状態をコントロールしているのでサイン波の合成で和音を作る事が出来るようになっていますが、自然解の音だとサイン波のパルスとノイズを組み合わせるだけで様々な音を作る事が出来ます。
■ 譜面を作る
音楽は義務教育でも学習しますが、この時に使用するのは基本的な五線譜での譜面になります。楽器によっては五線譜ではない物もありますが、ギターの場合だと、【 タブ譜 】 と言う元の位置にフレット番号を振った譜面もあるので、五線譜をそれに変換する事で演奏の練習をしやすくできる譜面も存在します。
■ タブ譜
ドラム譜は既に音階と言う概念がないので全く違う譜面になりますが、学校のカリキュラムだと鍵盤楽器や管楽器のような物を使う事で五線譜上に表記できる譜面を扱う事になります。
■ ドラム譜
PC環境でも譜面の制作が出来るソフトがいくつかありますが、OSSのツールだと
■ MuseScore
があります。このツールについては、
の中でも触れていますが、このソフトでは、Sound Fontで発音させているのですが、オーディオファイルでの書き出しが出来るので、作った曲をそのままScratchで使用する事が出来ます。
MIDIシーケンサの場合だとSMFファイルやXMLとかの書き出しになりますが、このツールではオーディオで書き出せるのでそのまま他のツールで曲を使う事が出来ます。
SMFファイルはゲームエンジンとかで使用できる物もあるので、リニアPCMだと重すぎる場合にはMIDIを使う事になります。
基本的にこのツールはPCの部分がGS音源でｈなくSound Fontで発音を行う仕様になっています。
■ MIDIシーケンサ
MIDIは音楽の譜面の流れや発音の方法などを指定してピアノロール内のノートの状態を指定する事で、トラック内の譜面の状態を作り、それを楽曲内で使用するパート分だけ作る事で曲の中の音を指定する仕様になっています。フリーウェアだと
■ Domino
がMIDIシーケンサになりますが、このソフトは、
■ ピアノロール
■ ステップシーケンサ
の双方で入力が出来る仕様になっています。その為、ノートを配置した後にステップシーケンサで調整する事もできます。
MIDIについては、
でも触れていますが、MIDIシーケンサでは
のようにピアノの鍵盤に時間軸が付いたピアノロールが用意されており、その部分に譜面を打ち込んでいく事になります。
Dominoの場合、
■ ピアノロール
■ ステップシーケンサ
の部分で調整をする事になります。ピアノロールにはノートを配置して音階と音価を追加する事になりますが、
■ 音階 ： 縦軸の移動
■ 音価 ： ノートの長さ
で指定します。この時に音価の細かさを指定するのがクォンタイズになります。ここの数値を指定する事で最小の音符の長さの指定を行う事が出来ます。つまり、4/4拍子で8分音符しか出ない場合だと、1/8にしておけば16分音符のような短い音符の指定が出来なくなるので譜面に合った最小サイズを事前に指定しておくことで打ち込みやすくすることができます。
ノートは、
のように配置できますがこの状態だと鍵盤楽器の譜面なので、弦楽器やトロンボーンのような滑らかな音階の変化が出来ません。
例えば、スラーを行う場合だとトロンボーンやギターだとそのまま演奏できますが、鍵盤楽器でそれを行おうと思うと無理がありますし、リコーダーだと演奏する術がありません。
ピアノロール上でのノートの移動だとグリッサンドや演奏方法が良く解らない黒鍵まで含めたグリッサンド位しか出来ないので、フレットをスライドできる弦楽器やトロンボーンのような音階の区分けがない楽器の音の表現が出来ません。
これに対応する為に、MIDIではCC(Control Change)が用意されており、ノートの細かな設定を行えるような仕様になっています。この設定は、番号で行えるようになっていますが、
■ CC
で行えるようになっていますが、CCの変化を時間軸の推移として適応する事が出来ます。この時に
の場所で指定する事になります。ノートの設定はピアノロール上の位置とパラメーターとなるCCの設定で行う事になりますが、
拍子を指定した時の表と裏の設定をする際にベロシティーを使ったり、モジュレーションで音を揺らす事もできます。
ただし、この指定はあくまでも 【 処理の内容 】 なので、対象となる 【 音源 】 の情報が必要になります。その為、MIDIに発音させるための音源の指定をする事になりますが、DominoなどのMIDIシーケンサ―の場合OSに実装されている音源を使う事になるので、WINDOWS環境だとMicrosoft GSを使う事になります。
この時に使用するのがＰＣ(Program Change)になります。
PCは、
の中から指定する事になりますが、指定後にはノートで指定した音源で発音する事が出来ます。
PCを指定すると指定したノートの音価と音階を指定してCCで音の変化を指定するとその変化をPCで指定した音で発音する事になりますが、CCを使うと
■ ピッチベンドによる音の変化
のようにピッチベンドが使用できるので、フレットレスな弦楽器やトロンボーンのような音階の縛りがない楽器の演奏方法を再現する事が出来ます。こうした発音が出来るので、チョーキングやスライドギターの再現をする事が出来ます。
また、CCを使うと
■ CCによる変化
のような音を作る事が出来ます。
このように音楽を作る場合には、色々な選択がありますが、MIDIと生音を使う事が出来るようになっています。