macaconさんプログラムを3系に移植して使っていました
白黒動画をコマンド一発でカラー化＋音声再現
しかし、colorize.tfmodelの更新が無いために
以降は使えていません
今回もffmpegが使えるか？
開発更新は終わっていますが
実に優れたプログラムだと思っています
著作権の問題はさておき
この人にカラー化のノウハウを教えて頂きたいですね⁉
（実に優秀です）
実行結果
コマンドは
python macacon.py input_movie.mp4 output_movie.mp4 （一般）
python macacon.py input_movie.mp4 output_movie.mp4 -m （モニター）
python macacon.py input_movie.mp4 output_movie.mp4 -c 2.8 （よりカラー強調＝今回は失敗）
Tensorflow2系では使えない（修正点が多い）ので
placeholder、Session、ｇraph_def 皆アウトです！
1系でカラー化比較します（まもなく）
macacon.py
import tensorflow as tf
from tensorflow.python.framework.ops import disable_eager_execution
disable_eager_execution()
import numpy as np
import cv2
import argparse # argparseをインポート
import time
start_time = time.time()
# nargs="?"にしてconstやdefaultのパラメータと組み合わせて指定した場合
# エラーになることなくスクリプトを実行できる
parser = argparse.ArgumentParser() # パーサーを作る
parser.add_argument("movie1", type=argparse.FileType('r')) # 入力する動画
parser.add_argument("movie2") # 出力する動画
parser.add_argument("-m", const=1, nargs="?") # 処理中画像を表示する際のオプション
parser.add_argument("-c", default=0, type=float, nargs="?") # nargs="*"で可変長
args = parser.parse_args() # コマンドラインの引数を解析
movie1 = args.movie1
movie2 = args.movie2
cap = cv2.VideoCapture(movie1.name) # 動画の読み込み
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # 入力動画のフレームの高さ
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) # 入力動画のフレームの幅
fps = cap.get(cv2.CAP_PROP_FPS)
allFrames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # 総フレーム数
print ("Width =", w)
print ("Height =", h)
print ("FPS =", fps)
print ("Frames =", allFrames)
fourcc = "XVID" # コーデック
out = cv2.VideoWriter(movie2, cv2.VideoWriter_fourcc(*fourcc), fps, (w,h))
with open("colorize/colorize.tfmodel", mode='rb') as f: # b=バイナリモードで学習済みモデルを読み込む
fileContent = f.read()
graph_def = tf.compat.v1.GraphDef() # 学習済みグラフの読み込み
graph_def.ParseFromString(fileContent)
grayscale = tf.compat.v1.placeholder("float", [1, 224, 224, 1])
tf.import_graph_def(graph_def, input_map={ "grayscale": grayscale }, name='')
with tf.compat.v1.Session() as sess:
for frameNo in range(1, allFrames+1): # ループでフレームを順番に読み込んでいく
print ("Frame no =", frameNo)
ret, frame = cap.read()
# numpy.concatenateで配列を連結する
if ret == True:
frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
frame_rgb = (frame_rgb / 255.).astype(np.float32) # 処理しやすい様に1以下に収まるように正規化を行う
frame_lab = cv2.cvtColor(frame_rgb, cv2.COLOR_RGB2Lab) #RGBからLABに変換する
frame_lab_l = frame_lab[:,:,0]
frame_rgb_vgg = cv2.resize(frame_rgb, (224, 224))
frame_rgb_vgg_gray = cv2.cvtColor(frame_rgb_vgg, cv2.COLOR_RGB2GRAY).reshape(1, 224, 224, 1)
inferred_rgb = sess.graph.get_tensor_by_name("inferred_rgb:0")
inferred_batch = sess.run(inferred_rgb, feed_dict={ grayscale: frame_rgb_vgg_gray })
foward_rgb = cv2.resize(inferred_batch[0], (w, h), interpolation=cv2.INTER_CUBIC)
frame_lab = cv2.cvtColor(foward_rgb, cv2.COLOR_RGB2Lab) # LABからRGBに変換を行う
if args.c:
frame_lab *= args.c
frame_lab_out = np.concatenate((frame_lab_l[:,:,np.newaxis], frame_lab[:,:,1,np.newaxis], frame_lab[:,:,2,np.newaxis]), axis=2)
frame_rgb_out = cv2.cvtColor(frame_lab_out, cv2.COLOR_Lab2RGB)
frame_rgb_out = (frame_rgb_out * 255).astype(np.uint8) # 出力全にRGBを元の値に戻しておく
cvFrame = cv2.cvtColor(frame_rgb_out, cv2.COLOR_RGB2BGR)
out.write(cvFrame)
if args.m:
cv2.imshow('frame', cvFrame) # 画像をウインドウ上に表示する
if cv2.waitKey(1) & 0xFF == ord('q'): # フレームを表示している間はcv2.waitKey()に適切な時間をしてする
break
cap.release()
out.release()
cv2.destroyAllWindows() # 作られたすべてのウインドウを閉じる
print ("Elapsed time:{0:.2f}".format(time.time() - start_time)) + "sec"
opencv.py
import numpy as np
import cv2
cap = cv2.VideoCapture(gray_scale.avi)
# Define the codec and create VideoWriter object
fourcc = cv2.VideoWriter_fourcc(*'MJPG')
out = cv2.VideoWriter('output.avi',fourcc, 20.0, (1280,960))
while(cap.isOpened()):
ret, frame = cap.read()
if ret==True:
frame = cv2.flip(frame,0)
# write the flipped frame
out.write(frame)
cv2.imshow('frame',frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
else:
break
# Release everything if job is finished
cap.release()
out.release()
cv2.destroyAllWindows()
macacon.sh（コメントは削除して実行してください①～④はコマンド）
#!/bin/sh
FLAG_M=FALSE
FLAG_C=FALSE
VALUE_C=
OPT=
while getopts mc: OPT
do
case $OPT in
m ) FLAG_M=TRUE ;;
c ) FLAG_C=TRUE
VALUE_C=$OPTARG ;;
\?) echo "Usage: sh ./macacon.sh [-m] [-c value] input_movie.mp4 output_movie.mp4"
exit 1 ;;
esac
done
shift `expr $OPTIND - 1`
if [ "$FLAG_M" = "FALSE" ]; then
if [ "$FLAG_C" = "FALSE" ]; then
python macacon.py $1 $2 ①
else
python macacon.py $1 $2 -c $VALUE_C ②
fi
fi
if [ "$FLAG_M" = "TRUE" ]; then
if [ "$FLAG_C" = "FALSE" ]; then
python macacon.py $1 $2 -m ③
else
python macacon.py $1 $2 -m -c $VALUE_C ④
fi
fi
mv $2 temp_mcon1_$2
ffmpeg -y -i $1 -acodec copy -map 0:1 temp_mcon1_soundtrack.m4a
ffmpeg -y -i temp_mcon1_$2 -i temp_mcon1_soundtrack.m4a -vcodec copy -acodec copy $2
if test -f $2 ;then
rm temp_mcon1_$2
rm temp_mcon1_soundtrack.m4a
fi