う〜ん 70％の出来ですが
とりあえず出来上がりましたので
先行公開
させて頂きます！
暴れ馬なLTX2.3でした！
暴れ馬の手綱をどうやって引いたかは
この後、ブログで書かせて頂きます
- 前ページ
- 次ページ
まずは
LTX2.3が登場した時に試したワークフローの感想です
-------
リップシンクの動作は正確
・訳のわからない言語で歌詞みたいなテキストが表示される
・作成した動画の最後に光の様なエフェクトがでる
・主体の動きが激しい
・生成される主体の顔がWソース系でとにかく濃い！
-------
と、言う事で私が作るAI MVでは使えなかったのですが
バージョンの低いLTX2を使ってみて、使いやすかったので
今回は再度、LTX2.3でもいくつかモデルが
出てきたのと
使い易そうなワークフローも入手できているので
LTX2.3でリトライしています！
「主体の顔がWソース系でとにかく濃い！」というのは
使ったモデルではだいぶ軽減されているのですが、
「訳のわからない言語で歌詞みたいなテキストが表示される」の部分は
改善されておらず、Google Colabで30ユニット費やして調査しましたが
改善できませんでした
(画像の左側にある文字の様なものが自動的、表示されてしまいます）
主体の動きはスクリプトがハマると最高なので、
ぜひ次回作のAI MVはLTX2.3で作りたいのですが......
変な歌詞の出現問題解決の為、次回作の発表はまだ先に
なりそうです
次回のAI MV動画作成の為、
LTX2.3の情報集めをしていたら
LTXでもの凄い作品を作っていらっしゃる方を
見つけてしまいました
まず、見て頂きたい動画が
これ、LTXを使い、ローカルPCで作られているんですよ！
次がこれ...
SeeDance2.0やKling等の生成AIのSaaSは使われていない、
私と同じ、ComfyUI環境でLTXを使って作られています！
こんな作品見たら、
私のAI MV動画なんて恥ずかしく公開できません
この方が使っているワークフローも公開されていたので、
見てみたのですが、私には理解出来ず、とても使い熟せるワークフロー
ではありませんでした
いつかは、この方の様な作品が作れる様になれたらいいなぁ....
私は今までリップシンク動画の元ネタ画像のサイズを
1270 X 720 の720Pの画像サイズで作ってきました！
ComfyUIを使って出来上がったリップシンククリップを
DavinciResolve Studio（動画編集ソフト）の
AI Super Scaleの「3x強化」を使って
4Kにアップスケールしていたのですが、 が
、
が、
LTXで720Pの元画像で顔のサイズが1/4以下の時、
目の描写がとってもおかしくなってしまいます
困ったものだ
これは困った
困った
でもLTXだったら1920 X 1080 のサイズでも
処理速度が早いから「いけるんじゃねぇ〜？
」
という事でやってみた所、全然行けました
！
と、いう事で
1920 X 1080 の1080Pで次回動画用の元ネタ作り開始です
比較用動画です
！
（1080Pは2倍強化、
720Pは3倍強化で
4K画質にしています）
なぜか、1080Pのクリップを作った時に
勝ち誇った様に拳を上げてる動作はLTXが勝手にやりました💦
動画の女性は元ネタ画像制作中の為、顔が変わる可能性大です
！
前回のオリジナルMVの作成からLTX2を使い始めました！
今度はYouTubeで「FutuTek」さんが
「LTX2.3 All-In-One」というワークフローを公開されて
いたので、Google Colab環境を作り使ってみました！
環境作りにはコストが低いL4 GPUで作り、テストが
上手くいったら動画系のワークフローはA100 GPUで
動かす算段だったのですが、
なんと！！
L4 GPUでも処理速度は充分に耐えられる速さで処理を終え、
念の為に前回使ったLTX2のワークフローもL4 GPUで動かした所、
「あれ？ こっちもL4 GPUで充分な速さで動くじゃん！」
となりました💦
画像生成系はL4 GPU、動画生成系はA100 GPU
と勝手に決めつけていた事に後悔しました
「LTX2.3 All-In-One」のワークフローは
相変わらずLTX系のお節介な歌詞の追加やエフェクトが
ありますが、当初、使っていたLTX2.3のワークフロー
よりも使い易いです！
画質はLTX2のワークフローの方がstep数が25step、
LTX2.3 All-In-Oneが8stepという事で
（早いんですけどね〜〜〜）
LTX2の方が良いです！
ただ、LTX2の方は指の描写が不得意みたいなので
なんとかLTX2.3の方の画質を上られる様
ワークフローをチューニング中です！
#21「春色マジックパレード」のMV動画も作り終えたので
#22用の楽曲作りをしました！
基本的に#1~#10までの楽曲はSUNOのスクリプト指定の仕方
が今一わからないまま作った楽曲なので
リプレイスして行きたいのが本音です！
と、言う事で#06「ディズニーランドでハピネス」をリプレイスしました！
元曲よりもディズニー感
を強めて、ロマンチックムード
を高めた
楽曲に仕上がったと思ってます！
MVが出来上がる前に、楽曲を先行公開させて頂きます！
楽曲を聴いて「良さそうだなぁ〜」と思った方は
ぜひ私のYouTubeチャンネルのチャンネル登録していただけると
嬉しいです
お久しぶりです💦
SUNOを使った楽曲生成とComfyUIを使った画像生成、動画生成
でオリジナル動画作りを趣味として始めたら、ブログを書く事を
忘れていました💦💦💦💦
もう20本もオリジナル動画を作ってます💦
リップシンククリップの作成には
ComfyUIでWAN 2.2 S2Vを使って作ってきましたが、
ComfyUIのAI生成界隈では
「LTXがすごい！」
「LTXは最高！」
と盛り上がっていましたので
LTX2の頃から使ってみましたが、結果は
ダメ💦
LTX2.3も使ってみましたが
勝手に訳のわからない言語で歌詞やエフェクトが加わる等で
LTXを使うのは諦めよう！と諦めかけていたら
LTX2を使って同じ様にAI MVを作ってらっしゃる
海外の方が使用されている
ワークフローが公開されていたので使ってみると
もう最高でした！
何が最高かと言うと
- 参照画像の顔と生成された顔の変化が少ない。
- リップシンクが口だけでなく、頭、身体が連携しています。
- 同一クリップに複数の人がいた場合、どの人をリップシンクさせるかスクリプトで指定できます。
- 処理が早いです。
ただ勝手に訳のわからない言語で歌詞やエフェクトが加わる事もあるので
そういう時はリトライが必要です💦
(後に「(Do not display lyrics or other text, or effects.:1.4)」
をPositiveプロンプトの先頭に付けたら80％は解消されました！）
と、言う訳で久々に力作の動画を作る事が出来ましたので、
見てみて下さい🙇
AI画像生成していると、あっと言う間にHDはパンパンになってしまう！
と言うのは画像の元となるデータ（Checkpointと言います）は
1つのデータで数ギガバイトの大容量ファイルだからだ！
それに加えて顔や手の修正用データも大容量なものが多い！
AI画像生成では
StableDiffusin WEB UI Automatic1111（以後、StableDiffusin）と
ComfyUI
と言うアプリを使っていますが、
できれば使うデータは共用したいと言う事で
Checkpointのデータ等は外部SSDの方に入れて
StableDiffusinとComfy UIのパスの方にシンボリリックリンクを貼っています
なので、Macの内蔵HDはそんなに消費しない筈なのに
ついに残りが100GB近辺になってきたので
大掃除を実行する事にしました！
まずは、いつものメンテナンスとしてOnyXを実行！
（OnyXは無料アプリです。
MacOSX Jaguarの頃からお世話になっていて
このソフトは有料になっても良いと思っています！）
実行してみたが、そんなにHDの空き容量は変わらず、
何がそんなにHDを喰っているダァ？という事で
HDの中身を可視化してくれるGrandPerspectiveを実行してみると
（GrandPerspectiveはAppleのApp Storeで500円で売られているソフト
なんですが、実はリンクの作者さんのHPからは無料でダウンロード可能です
）
げげ！ なんだぁ！真ん中に鎮座しているファイルは！
それは今まで撮り溜めていた写真の管理で
使用してLightRoom Classic(以後、LrC)で使っている
プレビュー用のカタログデータでした！
とりあえずカタログデータには引っ越ししてもらおう！と言う事で
/Users/{ユーザ名}/Picturesの中にあるLightroomフォルダを外部SSDにコピーし
LrCを起動して環境設定の以下の部分を修正
（ircatの拡張子がついているファイルがカタログのボスみたいなファイルで
その前に付いているCatalog-v??-?の部分がLrCのバージョンを表しています）
LrCを再起動して、カタログの初期設定の部分が修正した通りで
通常に撮り溜めた写真を編集、閲覧する事が出来たので内蔵HDに鎮座していた
/Users/{ユーザ名}/Picturesの中にあるLightroomフォルダを削除しました！
これで内蔵HDに45.5GBの空きが出来た！
・
・
・
・
・
次に大きなファイルが
純正の「写真」アプリで使っている
Photos Library.photoslibrary
このファイルも
/Users/{ユーザ名}/Pictures/にいるファイルで
LrC同様、外部SSDにコピーして、
コピーしたPhotos Library.photoslibraryを
ダブルクリックして写真アプリを立ち上げる
（これ重要！ 写真アプリの中で設定を変えるとか出来ないので、
このダブルクリックで明示的にライブラリの場所を変更）
上部メニュー「写真」の「設定...」で「ライブラリの場所」にコピーした場所が表示され、
左側にあるメニューの「ライブラリ」でいつも通りの写真が表示されていればOK！
次回からは写真アプリを起動する時はいつも通り写真アプリのクリックでOKです！
これで内蔵HDに3.2GBの空きが出来た！
・
・
・
・
・
次に大きなファイルが
Davici Resolveで使われているCacheClipフォルダにあるファイル
/Users/{ユーザ名}/Movies/CacheClipの中にあるファイルで
Davici Resolveで動画編集を行なっていると作られるワークファイルみたいなものだ
削除前に何GBあったか覚えていないのだが、
削除後に動画を1本編集しただけで13.49GBのファイルが存在する（作成された）
これは簡単でCacheClipフォルダの中にあるファイルやフォルダを削除するだけ
これで今まで数十本の動画編集をしてきているので
内蔵HDに最低でも13.49GBの空きが出来た！
・
・
・
・
・
次に大きなファイルが
純正スクリーンセーバーの風景や街並み等の綺麗なムービーファイル
とても綺麗なスクリーンセーバーな為、
全Macユーザさんは全ての景色や街並みを見てしまっているのでないか...
以前のOSのバージョンではコントロールパネルから削除できていた様に記憶しているが
MacOS Sequoiaでは削除も出来ないし場所もわからないのでググってみると
/Library/Application Support/com.apple.idleassetsd/Customerフォルダ
（何ともマニアックなフォルダに...)
の中にあることが判明
私の場合、Customerフォルダの中の4KSDR240FPSフォルダに
総数29GBのmovファイルが存在したので削除、
削除した後に再起動しないと各風景の名前に↓が表示されない
とのことなので再起動を実施したが
再起動後、数分経つと削除したはずの
movファイルがゾンビの如く復活してくる！
再度、movファイルを削除しても復活してくるので
半分お手上げ状態でしたが
スクリーンセーバーの設定が「風景」や「街並み」、「◯◯をシャッフル」
になったままにしておくと
復活してくるので、
スクリーンセーバを動画以外のスクリーンセーバに設定した後に
削除作業、Macの再起動を実施したら復活してこなくなった
これで内蔵HDに29GBの空きが出来た！
・
・
・
・
・
次に大きなファイル（気になったファイル）が
sleepimageと言うファイルがGrandPerspectiveを見ていて気になった
パスが/private/var/vm/sleepimageになっていたから
Pythonの仮装マシーンを作った時に
出来たファイルかな？
とググってみたら
「スリープ時等に電源が切れてしまうと、RAMのデータを避難させる領域」
らしい
削除しても大きな問題は起きないみたいなので、自己責任で削除する事にした
ターミナルアプリから
sudo rm /private/var/vm/sleepimage
で削除
なお、このファイルを運用（生成）しない様にするには
sudo pmset -a hibernatemode 0
このファイルを運用（生成）する様にするには
sudo pmset -a hibernatemode 3
をターミナルアプリからコマンド投入すれば良い！
これで内蔵HDに4GBの空きが出来た！
結局、最終的に画像生成が原因でなく、
写真アプリと動画編集アプリが原因でしたぁ〜
今回の大掃除で95.19GBもの容量が掃除出来た！
もっと探れば不要なファイルは出てきそうですが...
（やらなくなったゲームとか...)
他にもこれは削除出来るよ！と言うファイルがありましたら教えて下さい
なお、ブログ記事中で「ググって」と書いていますが、
昔はGoogle検索してましたが、
ChatGPTに教えてもらってます！
時代は変わりましたね！
最近はカメラ
ではなく、音楽制作
（生成）に
ハマっているのは前回のブログで書かせていただいた
のですが、見てくれましたか？
私のYouTubeチャネル！ どうでしたか？
今回からはチャンネル開始までのエピソードを
書いていきたいと思います！
まずは音楽生成
音楽生成は「SUNO」という海外のAI音楽生成サービス
を利用しています！
「音楽AI生成？ どうせ初音ミクみたいのだろぉ！」
（決して、初音ミクを馬鹿にしている訳では無いので💦）
とちょっとテンション下げ目でサイトに入り、
日本語が使えるかどうかも分からずに
「ディズニー好きの女の子が念願のディズニーランドに行ってときめいている感じの女の子のディズニー風の曲を作って」
とプロントを打ち込み、生成してみると
「夢見るディズニーランド」を生成！
初めて聞いた時は
「本当にこれ、AIが生成したの？」
・
・
「普通に日本人の女の子が歌ってるじゃん！」
・
・
「本当は裏で日本人の女の子が歌っているじゃない？」
・
・
と半信半疑になりながらスクリプトをちょこちょこっと弄り
何曲か作ってみた結果、こんな短時間で人間が曲を作れる訳が無い
という事で AI の恐ろしさと凄さを実感しました
課金がどれ位か見てみると
Pro Planで＄8！ 今の日本円にして大体1,300円くらい！やすっ！
即、課金して生成しまくりました！
音楽生成に興味がある方はすぐにSUNOに行って生成してみて下さい
無料のFree Planで毎日50クレジット（10曲）作れますが、
Free Planだと
もしも良い曲が出来たとしても
商用利用はできないので
Pro PlanにUpGradeしておく事をオススメします
お久しぶりです！
って、どんだけブログ書かなかった💦
というのも身内の不幸やとても忙しいプロジェクトへ参画してしまったり
カメラ以外の趣味ができてしまったのが原因です！
（ほとんどカメラ以外の趣味が原因です😅）
カメラ以外の趣味とは何かと言うと
AI
です！
そうです！ 巷でChatGPT等で話題？（若い人は普通に使ってる‥‥）のAIで
そのAIの中でも画像生成と音楽生成に
ハマってしまいました！
画像生成は
StableDiffusion
にハマって、
音楽生成は
SUNOというAI音楽生成サービス
にハマりましたぁ！
そんな訳で自分で思った音楽や自分が欲しい画像を
AIで手軽に作れてしまって！！
その結果をYouTubeに上げています！
最新作が下の動画で
4K HDの動画で気分が上がる曲になってます！
動画内の登場人物はStableDiffusionで生成し、
音楽はSUNOで生成しました！
音楽に関しては好きなディズニーをイメージした詩と曲で作ってます！
登場人物に関しては私の完全に好みの女性を生成しました😅
手軽に作れるといってもAIを使い熟すまでは
それなりの知識が必要で
毎日、勉強と調べ物で忙しい日々を
送ってます！
とりあえず、今回は近況報告という事で
ブログを書かせて頂きました！