Twitterやツイキャスでは、お知らせしているのですが
今回、育休最後の駆け込みということで、
Aidemyというところで、AIアプリ開発のプログラミングを勉強することにしました。
その成果物（卒業課題）をこちらでご紹介したいと思います。
◉きっかけ
AIのベンチャーで営業をやっておりましたが、
お客様の課題に対し、データをその場で見てアドバイスできたらいいな。。と思っていました。
そこで、育休最後の時間を有効活用したいと思い、Pythonを利用したAIプログラミングを勉強したいと思い、受講を始めました。
その中で、仕事でも苦労したアプリ開発をやってみたく、このコースを選択しました。
◉環境
・Python
・Macbook air (M1)
・Chrome
・Google Colaboratory
◉AI画像認識アプリ
" BMJ AI Classifier "
BMJのメンバーの誰に似ているかAIにて画像認識できるアプリ。
◉使用した画像データ
"yuri", "ayako","masako"の顔写真各２０枚
◉私のプログラミングレベル
超初心者
１、ディレクトリ構成図
（１）アプリケーション実行環境
── mnist
│ │ ├── Procfile
│ │ ├── mnist.py
│ │ ├── model.h5
│ │ ├── requirements.txt
│ │ ├── runtime.txt
│ │ ├── static
│ │ │ └── stylesheet.css
│ │ ├── templates
│ │ │ └── index.html
│ │ └── uploads
│ │ ├── 1.png
│ │ └── 2.png
│ ├── mnist.py
│ ├── mnist1.py
│ └── model.h5
（２）モデル学習環境
── Aidemy
│ │ ├── image（元データ）
│ │ │ └── yuri
│ │ │ └── ayako
│ │ │ └── masako
│ │ ├── image2（水増しデータ）
│ │ │ └── yuri
│ │ │ └── ayako
│ │ │ └── masako
# 以下はスクリプトファイル
devide_test_train.py
inflation.py
learn.py
predict.py
２、元データのまとめ
imageファイルを作成して、ファイル内に"yuri", "ayako","masako"のファイルを作成。
各自の写真を顔がわかりやすいように加工して格納。
２、画像の水増し
G driveにimage2フォルダーを作成し、各3人の画像をGoogle Colaboratoryにて水増し。
各自3000枚くらいに増やしました。
import keras
import numpy as np
from keras.utils import np_utils
from matplotlib import pyplot as plt
from keras.preprocessing import image
from keras.preprocessing.image import ImageDataGenerator
import os
import cv2
import sys
import random
from setuptools.sandbox import save_path
DATA_DIR = '/content/drive/MyDrive/Aidemy/image'
CATEGORIES = ["yuri", "ayako", "masako"]
SAVE_DIR = os.path.join(
'/content/drive/MyDrive/Aidemy/image2')
IMG_SIZE = 50
training_data = []
datagen = ImageDataGenerator(
rotation_range=90,
width_shift_range=0.3,
height_shift_range=0.3,
channel_shift_range=40.0,
shear_range=0.39,
zoom_range=[0.7, 1.3],
horizontal_flip=True,
vertical_flip=True
)
copy_num = 50
def create_training_data():
for class_num, category in enumerate(CATEGORIES):
path = os.path.join(DATA_DIR, category)
save_path = os.path.join(SAVE_DIR, category)
if not os.path.exists(save_path):
os.makedirs(save_path)
for image_name in os.listdir(path):
img = cv2.imread(os.path.join(path, image_name))
img_resize = cv2.resize(img, (IMG_SIZE, IMG_SIZE))
img_array = image.img_to_array(img_resize)
img_array = np.expand_dims(img_array, axis=0)
j = 0
for d in datagen.flow(img_array, batch_size=1,
save_to_dir=save_path,
save_prefix=category,
save_format='jpeg'
):
j += 1
d = np.resize(d, (d.shape[1], d.shape[2], d.shape[3]))
training_data.append([d, class_num])
if j == copy_num:
break
create_training_data()
random.shuffle(training_data)
X = []
y = []
for feature, label in training_data:
X.append(feature)
y.append(label)
X = np.array(X)
y = np.array(y)
np.savez('/content/drive/MyDrive/Aidemy/image', X, y)
こんな感じ。なんだか気持ち悪いですね
もう少し水増しが必要そうなのですが、今回はここまでにしたいと思います。
３、作成済みのモデル
演習で勉強したコードを元に、VS Codeにて、model,html,cssを作成。
(1) モデルの作成
#from keras import optimizers
### kerasのoptimizersにはSGDがないので、tensorflowのoptimizerをimportします。
### tensorflowでないと optimizers.SGD(lr=1e-4, momentum=0.9) でエラーが出ます。
from tensorflow.keras import optimizers
from keras.applications.vgg16 import VGG16
from keras.layers import Dense, Dropout, Flatten, Input
from keras.models import Model, Sequential
from keras.utils.np_utils import to_categorical
import numpy as np
npz = np.load("/content/drive/MyDrive/Aidemy/image.npz")
npz_X = npz['arr_0']
npz_y = npz['arr_1']
X_train = npz_X[:int(len(npz_X)*0.8)]
y_train = to_categorical(npz_y[:int(len(npz_y)*0.8)])
X_test = npz_X[int(len(npz_X)*0.8):]
y_test = to_categorical(npz_y[int(len(npz_y)*0.8):])
input_tensor = Input(shape=(50,50,3))
vgg16 = VGG16(include_top=False, weights='imagenet', input_tensor=input_tensor)
top_model = Sequential()
top_model.add(Flatten(input_shape=vgg16.output_shape[1:]))
top_model.add(Dense(256, activation='relu'))
top_model.add(Dropout(0.5))
### Denseを1から3に変更, npz_yの次元数が3にっていたため
### 今回は3クラスに分類するタスクだと推測しますが、最終層のDenseにはclass数を設定します。
top_model.add(Dense(3, activation='softmax'))
model=Model(inputs=vgg16.input,outputs=top_model(vgg16.output))
for layer in model.layers[:19]:
layer.trainable = False
model.compile(loss='categorical_crossentropy', optimizer=optimizers.SGD(lr=1e-4, momentum=0.9), metrics=['accuracy'])
model.fit(X_train, y_train, validation_data=(X_test, y_test), batch_size=32, epochs=5)
model.save('model.h5')
scores = model.evaluate(X_test, y_test, verbose=1)
print('Test loss:', scores[0])
print('Test accuracy:', scores[1])
model.summary()
＊参考までに、先生からのコメント付きのままです。
なお、正解率は以下の通りです。
Test accuracy: 0.6983333230018616
少し低い気がしますので、データ追加など、改善の余地がまだあると思われます。
（２）main
import os
from flask import Flask, request, redirect, render_template, flash
from werkzeug.utils import secure_filename
from tensorflow.keras.models import Sequential, load_model
from tensorflow.keras.preprocessing import image
import numpy as np
from PIL import Image # $ pip install pillow
classes = ["yuri","ayako","masako"]
image_size = 50
UPLOAD_FOLDER = "uploads"
ALLOWED_EXTENSIONS = set(['png', 'jpg', 'jpeg', 'gif'])
app = Flask(__name__)
def allowed_file(filename):
return '.' in filename and filename.rsplit('.', 1)[1].lower() in ALLOWED_EXTENSIONS
#model = load_model('./model.h5')#学習済みモデルをロード
@app.route('/', methods=['GET', 'POST'])
def upload_file():
if request.method == 'POST':
if 'file' not in request.files:
flash('ファイルがありません')
return redirect(request.url)
file = request.files['file']
if file.filename == None:
flash('ファイルがありません')
return redirect(request.url)
if file and allowed_file(file.filename):
filename = secure_filename(file.filename)
file.save(os.path.join(UPLOAD_FOLDER, filename))
filepath = os.path.join(UPLOAD_FOLDER, filename)
print("test")
#受け取った画像を読み込み、np形式に変換
img = image.load_img(filepath,target_size=(image_size,image_size))
#print(img)
img = image.img_to_array(img)
data = np.array([img])
print(data.shape)
# #変換したデータをモデルに渡して予測する
#result = model.predict(img)[0]
model = load_model("./model.h5")
result = model.predict(data)
predicted = result.argmax()
pred_answer = "あなたは" + classes[predicted] + " です"
return render_template("index.html",answer=pred_answer)
return render_template("index.html",answer="")
if __name__ == "__main__":
port = int(os.environ.get("PORT", 5000))
app.run(host="0.0.0.0", port=port)
modelは、mnistファイルのmnist.pyにファイル名変更。
model.h5も完成。
(3) HTML
(4) CSS
header {
background-color: #ee58e6;
height: 60px;
margin: -8px;
display: flex;
flex-direction: row-reverse;
justify-content: space-between;
}
.header-logo {
color: #fff;
font-size: 25px;
margin: 15px 25px;
}
.header_img {
height: 25px;
margin: 15px 25px;
}
.main {
height: 370px;
}
h2 {
color: #444444;
margin: 90px 0px;
text-align: center;
}
p {
color: #444444;
margin: 70px 0px 30px 0px;
text-align: center;
}
.answer {
color: #444444;
margin: 70px 0px 30px 0px;
text-align: center;
}
form {
text-align: center;
}
footer {
background-color: #eed2f7;
height: 110px;
margin: -8px;
position: relative;
}
.footer_img {
height: 25px;
margin: 15px 25px;
}
small {
margin: 15px 25px;
position: absolute;
left: 0;
bottom: 0;
}
body {
background-image: url("http://drive.google.com/uc?export=view&id=1nNR4mqXGocjuxRoCdlGYPV677Q-w0sey");
background-repeat: no-repeat;
}
4、デプロイ
手元の環境で、再現を確認後、herokuへのデプロイを行います。
事前の課題で、アカウント登録をしておりましたので、以下のコードを実行。
git init
heroku git:remote -a (アプリ名)
git add .
git commit -m '(何を変更したかメッセージを書く)'
git push heroku master
２回目以降の更新は、以下のコード。
git add .
git commit -m "change"
git push heroku master
私は、htmlやCSSの知識がなく、今回Aidemyで学んだのみでしたので、
実際は、何度も更新をして確認しました。
５、完成！！
ファイルを選択で、画像を選んで、
submitしてみたら、、、
誰に似ているのか、AIが認識してくれます！
以下、サイトです。
https://yuri-app2.herokuapp.com/
◉考察
やはり画像認識は、正答率が重要なので、データ数を増やして
まだまだ精度向上をさせる必要があると思いました。
◉感想
AIで画像認識アプリを、ただ作ってみたい！！
という思いで始めてみましたが、実際は、プログラミングの知識がなかったため
最初はかなり苦戦しました。
コードも、見よう見まねで書いてみて
カウンセリングにて、先生に初歩的な質問から丁寧に回答して頂けたため
なんとかアプリを作成できました。
良かった点としては、
・とにかく、実践できた！
大変な点としては、
・これから、かなりの復習が必要。
・子育てしながらなので、結局徹夜が続く。
・子育てしながらなので、カウンセリングの時間がなかなか合わない。
（基本17:00-22:00のため）
以上。
ここから、何かに発展できたらいいな。
