言語生成 AI にブレイクスルーをもたらした ChatGPT が話題となってだいぶ経ち
ます。ベースとなる技術は少し前の BERT の基礎となっている Transformer です。
この本では Transformer を自前で実装し、BERT や GPT2 を自前で学習すること
で理解を深めようとしています。
TensorFlow2 系で書かれているので PyTorch 派にはちょっと読みづらいですが、
用意されているレイヤーは使わずすべて自前で実装してあるので、アルゴリズムは
そのまま使えます。サンプルプログラムを PyTorch に書き換えるだけでも理解が
かなり進むでしょう。GPT3 や GPT4 も結局は規模をデカくするだけなので基本を
押さえるにはおススメです。
