うーーーーーーーーーん
なんて
なんて難しいのでしょうか自然言語処理
概要を見ても難しすぎてほとんど理解できないBERTについて学びました。
というか深層学習が深すぎて深層学習なんですが・・・
BERTとは
まずBERTとはGoogleが発表した自然言語処理のモデル見たいです。
Transformerを使ったモデル
はい、もうこの時点でわからん！w
とりあえず結論から言うと
BERTっていうのは機械学習する際に、自然言語処理に特化したモデル
今までの自然言語処理よりも制度がいいよ！！って感じの処理方法
例えば、
音声を認識して文字を書き出す機能があるじゃん
「音声を入力して文字に書き出すまでの処理」のようなイメージ
文章だと
前後の文章を読み取ってどのような文章をつくるかの仕組み
今までよりもBERTを使うことで制度の高い文章を作れるみたい
あの、この内容深層学習について何も知らないと難しすぎるｗ
全部調べないといけなくなるｗ
Transformerっていうのはモデルなんだけど
今まで神経言語プログラミングは、リカレントニューラルネットワークっていうディープラーニングの手法を使ったモデルの構造だったんだけど、Attensionのみを使ったEncoder-Decoder型のモデルにしたらしい
もうほんと概要だけで！ｗ
調べても深すぎてネットのタブが大変なことになるｗ
深く知りたいかたは是非調べてみてください
BERTはPytorchを使って使用できるみたいです。
Pytorchっていうのは、Pythonのオープンソース機械学習ライブラリでPythonを使用できる方ならできるかと思います。
今回は調べるのに時間がかかったので実行はしません。
このブログ他人に説明するように理解しないといけないから書いててとても勉強になりますｗ
深層学習系は難しすぎるので明日からもう少し簡単な内容を書いていこうと思います。
今回の記事は間違っている部分が多いかもしれないので気になりましたら是非調べてみてください。