大規模言語モデル（生成ＡＩ）気象予報が、スパコン予想を超える<newsNueq-4462-F>2024/01/09 01:10より転載します。
貼り付け開始、
Ｌａｂ ＢＲＡＩＮＳ
大規模言語モデルによる気象予報が、スパコンの予想を超える
～ Google研究所からの論文（ 12月22日 Science 掲載論文 ）
--------------------------------------------------------------
https://lab-brains.as-1.co.jp/enjoy-learn/2024/01/58273/
2024.01.08
今年は大規模言語モデル（ ＬＬＭ ）の様々な分野へ導入した論文が
トップジャーナルに溢れるようになる元年と言えるかも知れない。
一般の方ににとってＬＬＭは、ChatＧＰＴのような
テキストを学習させたモデルを指すのだと思うが、
元々ノンリニアーな情報を扱う生物学では、
早くから様々な目的でＬＬＭの導入が進んでいる。
最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。
過去の経験は未来の予測に重要だが、
これまでの予測はデータをなんとか法則に落とし込んで、
その法則を未来に適用してきた。
これに対しＬＬＭでは、過去のデータを自然にコンテクスト化して、
そこから最も確率の高い結果を導き出す。
まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。
■ 本日紹介する論文
今日紹介する Google の２つの研究所からの論文は、
３７００万パラメーターを持つニューラルネットを用いて、
地球規模で過去の気象データを学習したモデルが、
スーパーコンピュータを用いた気象予想より
正確な予測を行えることを示した研究で、
１２月２３日 Ｓｃｉｅｎｃｅ に掲載された。
タイトルは
「 Learning skillful medium-range global weather forecasting
（ 地球規模の中期天気予想を可能にするモデル ）」だ。
■ 解説と考察
ノーベル賞を受賞した真鍋博士により気候モデリングによる予測が始まったが、
現在は多くのデータをスーパーコンピュータで計算する方向に進んでいる。
この研究では、これに対し、小さな領域の気象データを
世界地図の上にマップして学習させることで、
スーパーコンピュータ以上の予測性能が可能ではとチャレンジしている。
実際には世界を１００万ポイントに分け、
地表でのデータとともに、上空の気象データなどが、
地球を取り巻く仮想ネット上のノードに集約するようにデータを処理し、
これをトランスフォーマーに学習させている。
マイナス６時間、０時間のデータを読み込み、
プラス６時間の予測と実際の結果を示すことで、
一種のマスク事前学習を行い、最終的な GraphCast モデルを作成している。
驚くのは、このモデルが４千万程度の
パラメーターのニューラルネットワークで処理できる点だ。
ChatＧＰＴが１７００億パラメーター、
研究室レベルで使えるＧＰＴ２が１５億パラメーターであることと比べると、
ほとんどパソコンレベルと言って良い。
それなのに、日常の予測では中期予測センターＨＥＲＳを凌駕する。
※ ＨＥＲＳ
ヨーロッパ中期予報センターが提供する、高分解能１０日間ＡＩ大気予測モデル
https://ods.n-kishou.co.jp/
さらに、台風やサイクロンと言った異常気象、
さらには熱波や寒波のような異常気温の予測についても
１０日後までの中期予測では圧倒的に予測精度が高い。
■ まとめと感想
以上が結果で、専門でないのでずいぶん省略したが、
ＬＬＭのパワーを思い知る。
計算に基づく方法と比べると、ＬＬＭの宿命で予測の確率を出すことが難しいが、
これも可能になるモデルがすぐに出てくる気がする。
このようにＬＬＭは、ノンリニアな現象が溢れる我々の世界を読み解くすごい力になる。
それを Googleは完全に理解し、次から次へと新しいモデルとして実現している。
GhatＧＰＴで揺れた一年だったが、蓋を開けたら αFold に続き、
MedPalm から GraphCast まで、トップジャーナルだけで見ても
Google 一人勝ちの印象が強い。
※ Ｍｅｄ-ＰａＬＭ
Google の医療機関向け生成ＡＩモデル
※ こりゃ、糞の塊だな♪
なぜなら医療データ・エビデンス・知見自体がほぼ全て嘘八百だから♪
ＧｒａｐｈＣａｓｔ
この記事の主役：Google ＤｅｅｐＭｉｎｄの気象予測プログラム。
わずか１分で１０日間の天気を予測可能。
https://deepmind.google/discover/blog/graphcast-ai-model-for-faster-and-more-accurate-global-weather-forecasting/
※ こちらは、素晴らしい！
大きく後れをとった我が国では、遠い背中を追うのではなく、
新しい発想でチャレンジする若者が必要だと思う。
※ Google などが「 ファクト・チェック ＝ 検閲・焚書 」しているデータを
すべて網羅し、且つ、陰呆論係数を加味したＴＲＯＮ方式の
ハイパーリンクＬＬＭプログラム！
この一言で、みなさん、イメージできるかな？
肝は「 検閲・焚書データ 」と「 ハイパーリンク 」！
この「 ハイパーリンク 」は「 ブロックチェーン 」にも接続する。
つまり、ChatＧＰＴのような中央集権的洗脳プログラムではなく、
分散的オールタナーティブな仏教的システムとなる。
残念ながら僕にはプログラミング能力がないのでアイディアしか出せない。(^o^)ゞ
関連情報
< newsNueq-4458-F：生命進化とＡＩオカルティズム > 2024/01/05
< newsNueq-4214：ＡＩ深層学習の父：ジェフリー・ヒントン
なぜ ChatＧＰＴを恐れるか？ > 2023/05/08
< newsNueq-4209：ChatＧＰＴの電力・冷却水は原子炉並！
＆ イーロン・マスクのTruthＧＰＴ > 2023/04/25
< newsNueq-801 ：ネット監視と情報操作、そして中立性撤廃 > 2018/01/16
< newsNueq-700 ：ネット主権 と ネット中立性の終焉 > 2017/12/12
< newsNueq-1234：イスラエル8200部隊の起業家が描く
「サイバーグリッド構想」 > 2018/06/15
< newsNueq-814 ：スティーブ・ジョブスは裏切り者 > 2018/01/22
< newsNueq-1523：インターネットのあの美しき理想はどこへ消えたのか？ > 2018/09/17
< newsNueq-2781：インターネットを作り直す
：ディフィニティが掲げる理想と野望 > 2020/07/13
< newsNueq-1596：「ＧＡＦＡ支配」からＷｅｂを取り戻すプラネットシステム > 2018/10/18
< newsNueq-1573：「 データを取り戻す 」次世代Ｗｅｂ構想 > 2018/10/04
< newsNueq-2313：「 サイバー・イミュニティ 」への進化：カスペルスキー > 2019/10/04
ｎｕｅｑ
貼り付け終わり、※ｎｕｅｑ さん解説。
Ｌａｂ ＢＲＡＩＮＳ
大規模言語モデルによる気象予報が、スパコンの予想を超える
～ Google研究所からの論文（ 12月22日 Science 掲載論文 ）
--------------------------------------------------------------
https://lab-brains.as-1.co.jp/enjoy-learn/2024/01/58273/
2024.01.08
今年は大規模言語モデル（ ＬＬＭ ）の様々な分野へ導入した論文が
トップジャーナルに溢れるようになる元年と言えるかも知れない。
一般の方ににとってＬＬＭは、ChatＧＰＴのような
テキストを学習させたモデルを指すのだと思うが、
元々ノンリニアーな情報を扱う生物学では、
早くから様々な目的でＬＬＭの導入が進んでいる。
最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。
過去の経験は未来の予測に重要だが、
これまでの予測はデータをなんとか法則に落とし込んで、
その法則を未来に適用してきた。
これに対しＬＬＭでは、過去のデータを自然にコンテクスト化して、
そこから最も確率の高い結果を導き出す。
まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。
■ 本日紹介する論文
今日紹介する Google の２つの研究所からの論文は、
３７００万パラメーターを持つニューラルネットを用いて、
地球規模で過去の気象データを学習したモデルが、
スーパーコンピュータを用いた気象予想より
正確な予測を行えることを示した研究で、
１２月２３日 Ｓｃｉｅｎｃｅ に掲載された。
タイトルは
「 Learning skillful medium-range global weather forecasting
（ 地球規模の中期天気予想を可能にするモデル ）」だ。
■ 解説と考察
ノーベル賞を受賞した真鍋博士により気候モデリングによる予測が始まったが、
現在は多くのデータをスーパーコンピュータで計算する方向に進んでいる。
この研究では、これに対し、小さな領域の気象データを
世界地図の上にマップして学習させることで、
スーパーコンピュータ以上の予測性能が可能ではとチャレンジしている。
実際には世界を１００万ポイントに分け、
地表でのデータとともに、上空の気象データなどが、
地球を取り巻く仮想ネット上のノードに集約するようにデータを処理し、
これをトランスフォーマーに学習させている。
マイナス６時間、０時間のデータを読み込み、
プラス６時間の予測と実際の結果を示すことで、
一種のマスク事前学習を行い、最終的な GraphCast モデルを作成している。
驚くのは、このモデルが４千万程度の
パラメーターのニューラルネットワークで処理できる点だ。
ChatＧＰＴが１７００億パラメーター、
研究室レベルで使えるＧＰＴ２が１５億パラメーターであることと比べると、
ほとんどパソコンレベルと言って良い。
それなのに、日常の予測では中期予測センターＨＥＲＳを凌駕する。
※ ＨＥＲＳ
ヨーロッパ中期予報センターが提供する、高分解能１０日間ＡＩ大気予測モデル
https://ods.n-kishou.co.jp/
さらに、台風やサイクロンと言った異常気象、
さらには熱波や寒波のような異常気温の予測についても
１０日後までの中期予測では圧倒的に予測精度が高い。
■ まとめと感想
以上が結果で、専門でないのでずいぶん省略したが、
ＬＬＭのパワーを思い知る。
計算に基づく方法と比べると、ＬＬＭの宿命で予測の確率を出すことが難しいが、
これも可能になるモデルがすぐに出てくる気がする。
このようにＬＬＭは、ノンリニアな現象が溢れる我々の世界を読み解くすごい力になる。
それを Googleは完全に理解し、次から次へと新しいモデルとして実現している。
GhatＧＰＴで揺れた一年だったが、蓋を開けたら αFold に続き、
MedPalm から GraphCast まで、トップジャーナルだけで見ても
Google 一人勝ちの印象が強い。
※ Ｍｅｄ-ＰａＬＭ
Google の医療機関向け生成ＡＩモデル
※ こりゃ、糞の塊だな♪
なぜなら医療データ・エビデンス・知見自体がほぼ全て嘘八百だから♪
ＧｒａｐｈＣａｓｔ
この記事の主役：Google ＤｅｅｐＭｉｎｄの気象予測プログラム。
わずか１分で１０日間の天気を予測可能。
https://deepmind.google/discover/blog/graphcast-ai-model-for-faster-and-more-accurate-global-weather-forecasting/
※ こちらは、素晴らしい！
大きく後れをとった我が国では、遠い背中を追うのではなく、
新しい発想でチャレンジする若者が必要だと思う。
※ Google などが「 ファクト・チェック ＝ 検閲・焚書 」しているデータを
すべて網羅し、且つ、陰呆論係数を加味したＴＲＯＮ方式の
ハイパーリンクＬＬＭプログラム！
この一言で、みなさん、イメージできるかな？
肝は「 検閲・焚書データ 」と「 ハイパーリンク 」！
この「 ハイパーリンク 」は「 ブロックチェーン 」にも接続する。
つまり、ChatＧＰＴのような中央集権的洗脳プログラムではなく、
分散的オールタナーティブな仏教的システムとなる。
残念ながら僕にはプログラミング能力がないのでアイディアしか出せない。(^o^)ゞ
関連情報
< newsNueq-4458-F：生命進化とＡＩオカルティズム > 2024/01/05
< newsNueq-4214：ＡＩ深層学習の父：ジェフリー・ヒントン
なぜ ChatＧＰＴを恐れるか？ > 2023/05/08
< newsNueq-4209：ChatＧＰＴの電力・冷却水は原子炉並！
＆ イーロン・マスクのTruthＧＰＴ > 2023/04/25
< newsNueq-801 ：ネット監視と情報操作、そして中立性撤廃 > 2018/01/16
< newsNueq-700 ：ネット主権 と ネット中立性の終焉 > 2017/12/12
< newsNueq-1234：イスラエル8200部隊の起業家が描く
「サイバーグリッド構想」 > 2018/06/15
< newsNueq-814 ：スティーブ・ジョブスは裏切り者 > 2018/01/22
< newsNueq-1523：インターネットのあの美しき理想はどこへ消えたのか？ > 2018/09/17
< newsNueq-2781：インターネットを作り直す
：ディフィニティが掲げる理想と野望 > 2020/07/13
< newsNueq-1596：「ＧＡＦＡ支配」からＷｅｂを取り戻すプラネットシステム > 2018/10/18
< newsNueq-1573：「 データを取り戻す 」次世代Ｗｅｂ構想 > 2018/10/04
< newsNueq-2313：「 サイバー・イミュニティ 」への進化：カスペルスキー > 2019/10/04
ｎｕｅｑ
貼り付け終わり、※ｎｕｅｑ さん解説。