１．はじめに
先日、metaから発表されたllama3ですが、ローカル環境で検証してみました。結論、gpuのメモリが20GB以上必要と思われます。APIで提供される模様なので、ローカル環境が厳しい方は待った方がよりかも。
GitHub - meta-llama/llama3: The official Meta Llama 3 GitHub site
２．検証環境
・os:ubuntu22.04
・gpu:rtx3080 メモリ10GB
・cpu:i9 少し前、32GBメモリ
３．検証内容
（１）モデル
・llama3に必要なモデルダウンロード、他のllama2などを入れると1日位
・8ｂの最小モデルのみをお勧め、動作確認してから追加で70ｂなどを
（２）モデル動作試験
torchrunで動かすも、cuda out of memory
４．他のモデル
・llama2などもテストしたが、同様にメモリ不足
５．結論
・各社が提供するapiを待った方がよい。
６．その他
弊社openai開発キットはこちら
はじめてのchatGPT開発キットの販売 - スペクトラム・テクノロジー株式会社 (spectrum-tech.co.jp)
7．問い合わせ先
当社の強み ・無線ＬＡＮの専門調査会社として、セキュリティから電波までの無線ＬＡＮの専門性を強みとしております。 ・無線歴３５年、ＳＩ歴２５年の専門家が対応します。 ・自社所有の測定ツール（Ｌｉｎｕｘ，スペアナ、電波診断ツール、セキュリティ診断ツール、トラヒック診断ツール）により迅速に対応します。 スペクトラム・テクノロジー株式会社 https://spectrum-tech.co.jp 電話：04-2990-8881 email:sales1@spectrum-tech.co.jp 担当：村上