初稿:2020年9月
再生した音が部分的にブツブツ言ってたり、ガビガビになってたり、なんか音が1オクターブぐらいズレてるような気がしたら
それは「周波数表」が破綻しているかもしれません。
なお、周波数表が部分的におかしいときの対処は以下に書きますが、
「wav自体がおかしいせいで周波数表を全く作れない、エラーを吐いて音が出ない」みたいなときは
UTAU音源のwaveファイル最適化ソフトにwavを通してください。
また、周波数表を扱うときはvoiceフォルダの場所が「C:\Program Files(x86)\UTAU」の中でないことを確認してください。
○周波数表とは?
歌わせるための元素材(UTAU音源のwav)のことを「原音」というが、
この原音の音程が記録されているのが「周波数表」。
原音のwavの隣に生成される、.frqなどのファイルがそれにあたる。
↑周波数表エディタでfrqの中身を表示するとこんな感じ
周波数表はUTAUでの再生時に作られる。
たとえば「あ.wav」をUTAUで使用するとき、「あ.frq」がなければ自動的に新しいものが生成される。
すでにある場合は作り直さない。
また、周波数表はエンジンごとに違うファイルが使われる。
.frq:resamplerやfresampなど
.pmk:TIPS
.mrq:Moresampler
など。他にも数種類ある。
tn_fndsには周波数表がないため、音程の解析に失敗しても直すことができない。その音符だけ違うエンジンで鳴らすなどの対応になる。
周波数表には音程以外にも、
「ここは母音だからピッチシフトするべき」
「この子音は音程を変えるとおかしくなるからピッチシフトしないべき(音程なし)」
みたいな情報や、wav全体の平均の音程なども記録されている。
○異音がするときは周波数表を疑ってみる
原音の音程はresamplerなどのエンジンが自動判定するが、
音質によっては音程の解析が難しかったり、
ピッチシフトするべき音/しないほうがいい音の判断ができなかったりすることがある。
周波数表がおかしいと、再生するとき音程が変になったり、あからさまにおかしい音質で出力される。
とくに、全体的には音程解析できているが一部分だけミスっている、というときはそこだけが変な音で再生されるので、
そういう音がしたときは周波数表の可能性が高い。
(CVVCのときはCVだけでなくVCの原音の周波数表も確認すること)
○音程を解析しにくい音とは
・原音の音質が悪い、ノイズが乗っている
・息っぽい音
・叫び系の音源(倍音が多い発声)
・母音と子音の変わり目
・連呼式や歌連続音など、音程が大きく変化する原音
などなど。
逆に、ブレス・子音音源・ひそひそなど、ピッチシフトしてほしくないのに音程あり扱いになってしまって困ることもある。
基本的に「ピッチシフトすべき母音で音程が検出されてない、間違っている」ときは深刻だが、
「ピッチシフトしないほうが綺麗だけどピッチ検出されている」ときのダメージは比較的少ない。
(エンジンによってはピッチが無い子音部でも周りの母音に合わせてピッチシフトするらしい。飴屋さん製など)
○周波数表をうまく作れないとき
・wavのフォーマットが間違っている
→このページ冒頭に書いた、wav最適化ソフトを使う
・音程がない
→ひそひそ声やブレス素材など、wavの中に音程がある音が存在しないときは、うしろに短いサイン波など適当な音をくっつけることで周波数表を生成できるようになる
・違うソフトやエンジンで作ってみる
→後述するSpeedwagonを使った方法や、別エンジンで作った周波数表を変換する方法など
・周波数表作成用に音を加工する
→ノイズが多い音源はノイズ除去をする
(そもそも環境音や反響の多い場所で録らないこと)
→原音を変えたくない場合、原音は残しておいて、EQなどで周波数表を作りやすいように加工した音を別フォルダに用意する。
加工後の音から作った周波数表を、もとの原音のフォルダに移動する。
(wavを一括で加工する方法は「バッチ処理」などで検索すると出る)
○周波数表を新しく作り直すには
周波数表を生成するには、その周波数表を使用するエンジンを使う。
(「.frq」を生成するときはfrqを使用するresamplerやfresampなど)
「.frq」を生成するときは「Speedwagon」という周波数表生成ソフトを使うといい。
Speedwagonのほうがresamplerより音程解析の精度が高いが、
音源との相性もあるのでresamplerやfresampのほうがうまく生成できるときもまれにある。
・Speedwagonの使い方
Speedwagonの配布所からzipをダウンロードする。
Speedwagonには複数の使い方があるが、一番簡単なのは
「Speedwagon_DandD.exe」を開いて、出てきた画面のなかにwavを入れる方法。
(DandDはwavをドラッグ&ドロップするモード)
・Speedwagon以外の周波数表生成
UTAU本体にも周波数表を生成する隠し機能があるが、なぜか隠されている。
次の周波数表エディターを使った方法がおすすめ。
○周波数表エディターの使い方
周波数表エディターの配布所からzipをダウンロードする。
「frqeditor.exe」を直接実行することもできるが、
UTAUプラグインとしても起動できるので便利。
まずはツール→オプションから、使うエンジンを選ぶ。
ここでresamplerを選べばfrqを編集するモードに、
TIPSを選べばpmkを編集するモードに、と自動で変わってくれる。
・新しく生成
「編集」メニューから、
・この原音の周波数表を初期化
→今選んでいるwavの周波数表が初期化される
・すべての周波数表を再作成
→原音一覧のリストにあるwavすべての周波数表が初期化される
(プラグインとして起動したときは選択した音符で使われる原音だけがリストに並ぶが、「ファイル」→「この音源のすべての原音を編集する」を選ぶと全原音を読み込むことができる)
・不足している周波数表を作成
→原音一覧のリストで○がついていないwavの周波数表が作成される
・周波数表の手動修正
周波数表の音程が間違っている場合は手動修正する。
これができるのが周波数表エディターの強み。
このあたりから上級者向けになる。
※手動修正は「音程が間違って解析される」場合には有効だが、
「音程を解析できていない」ときには使えないので注意。
先に、音程解析がどんなふうに失敗するかという話をしておくと、
音程がある部分の音は基音と倍音でできており、
たとえばA4の音(高いラ)なら基音440Hzの波、2倍音880Hzの波、3倍音1320Hzの波・・・というのが混ざってできている。
で、この複数の波を解析して一番低いのが440Hzならこの音の周波数は440Hz!となるわけだが、
倍音が多い声だったりすると、880Hz?220Hz?660Hz?のように、1.5倍・2倍・3倍などの波と勘違いする。
なので、間違っている部分の周波数を2倍したり1/2にしたりすれば、正しい音程にたどり着けることが多い。
Ctrlを押しながらクリック・ドラッグすると、そこが選択できる。
左下の「/2」を押して数値を1/2にしてみると・・・
それっぽい感じになった。
プレビュー画面で、音程を変えて再生を押して音を確認する。
(最初にオプションで選んだエンジンで再生される)
・周波数表の変換
周波数表エディターでは、frqからpmkといった変換ができる。
(frqはきちんと生成できるのにpmkはうまくいかない・・・などの場合に有効)
「編集」→「周波数表の変換」から変換できる。
○周波数トレーサーを使った周波数表の編集
周波数トレーサーとは、生歌のピッチや音量をトレースしてUTAU上に貼る、いわゆるぼかりすやうたりすに近いプラグインなのだが、
これを応用して周波数表作成ツールとして使うこともできる。
(本来は周波数表編集用のツールではない)
○配布音源への同梱
音源を配布する場合は、すべてのfrqを生成して同梱する場合が多い。
(frqがないと初回再生時に時間がかかるのと、音源によっては修正済みの周波数表を同梱しておいたほうが親切なので)
他の周波数表はあまり同梱されないが、
推奨エンジンとしてTIPSを挙げるならpmkはあってもいいかもしれない。
○もっと詳しい周波数表の話
ちていこさんの「UTAU周波数表資料」に、
めっっっっっちゃくちゃ詳しい情報がまとまっている。