ここではTensorflowを取り上げます。

これを使って、活性化関数はReLU、位置ずれによるご認識を減らすためにプーリング使っています。

また、識別が偏らないためにドロップアウトも取り入れます。

出力層（全結合）での活性化関数はソフトマックスを使っています。

そのネットワークが下記の構成になっています。

正解率は99％超えに達しています。

(入力層-入力画像：28x28をフィルタ3x3)⇒(畳み込み層（１層）：16枚>>出力画像は28x28)⇒

(畳み込み層（2層）：32枚>>出力画像は28x28)⇒(プーリング層（3層）：32枚>>出力画像は14x14)⇒

(畳み込み層（4層）：64枚>>出力画像は14x14)⇒(プーリング層（5層）2x2+ドロップアウト0.25：64枚>>出力画像は7x7)⇒

(全結合層（6層）+ドロップアウト0.25>>全結合出力は128)⇒(出力層（7層）：全結合>>全結合出力は10

プログラム

from keras.datasets import mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
import numpy as np
np.random.seed(1)
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.optimizers import Adam
import time
from keras.utils import np_utils

x_train = x_train.reshape(60000, 28, 28, 1)
x_train = x_train.astype('float32') # 入力を実数値で扱うためにint型をfloat型に変換
x_train = x_train / 255 # 255で割って0～1の実数値に変換
num_classes = 10
y_train = np_utils.to_categorical(y_train, num_classes) # 0～9の整数値をOne-hotベクトルに変換

x_test = x_test.reshape(10000, 28, 28, 1)
x_test = x_test.astype('float32')
x_test = x_test /255
y_test = np_utils.to_categorical(y_test, num_classes)

# モデルを定義
model = Sequential()
model.add(Conv2D(16, (3, 3),
                 input_shape=(28, 28, 1), activation='relu')) # 畳み込み層（1層）ReLU活性化関数
model.add(Conv2D(32, (3, 3), activation='relu')) # 畳み込み層（2層）
model.add(MaxPooling2D(pool_size=(2, 2)))      # プーリング層（3層）画像の位置ずれ対する頑強さに利用（ストライドは2）
model.add(Conv2D(64, (3, 3), activation='relu')) # 畳み込み層（4層）
model.add(MaxPooling2D(pool_size=(2, 2))) # プーリング層（5層） + ドロップアウト
model.add(Dropout(0.25))   # 複数のネットワークを別々に学習させ、予測時にはそれを合体させ平均化する効果がある
model.add(Flatten())
model.add(Dense(128, activation='relu')) # 全結合層（6層） + ドロップアウト
model.add(Dropout(0.25))
model.add(Dense(num_classes, activation='softmax')) # 出力層（7層）、全結合、活性化関数はソフトマックス

model.compile(loss='categorical_crossentropy',
                  optimizer=Adam(),
                  metrics=['accuracy'])

startTime = time.time()

history= model.fit(x_train, y_train, batch_size=1000, epochs=20,
                  verbose=1, validation_data=(x_test, y_test))

score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])
print("Computation time:{0:.3f} sec".format(time.time() - startTime))

============================================================

Test loss: 0.0207774037383233
Test accuracy: 0.9928
Computation time:3520.457 sec

SVMに対して深層学習のTensorflowでは