通信なしで動く大規模言語モデルの小さいやつ「オラ」動作記念覚え書き | 秋葉は外神田ですがなにか?

秋葉は外神田ですがなにか?

ガッチャマン背景だったものを、映画不振とは関係なく、
ふつーのCoolTypeに変更しました。
少しは文字が読みやすくなったのではないでしょうか?
・・・と、思ったけど、やっぱりガッチャマンにもどしました。2013.10.15
※トップページ放置確認w2021.Aug

日本語で書くと、なぜかマヌケに見えてしまう外国技術のLLMですが、

昔は高性能だったノートパソコンで動作させられたので、記念にちょっと投稿致します。

 

ノートパソコンスペック

 DELL XPなんとか 17インチ4Kタッチパネル

 7thのCorei7とGTX1060を搭載しています。

 Windowsモデルです。

 

ollama をインストール、WindowsPowerShellを動作させました。

それなりに動いているようです

このollamaのコマンドリファレンスがネット上に見当たらなかったので、

本人?に直接聞いてみました。

日本語でも回答をくれますが、少々ぎこちないです。

「>>>」がプロンプトです。

 

ollama version is 0.1.32
PS C:\Users\tokyo> ollama run llama3
>>> /?
Available Commands:
  /set            Set session variables
  /show           Show model information
  /load <model>   Load a session or model
  /save <model>   Save your current session
  /bye            Exit
  /?, /help       Help for a command
  /? shortcuts    Help for keyboard shortcuts

Use """ to begin a multi-line message.

>>> How to use /set option?
The `/set` command is used to set or update an option in Discord. Here's how you can use it:

**Basic Syntax:**
```
/set <option> <value>
```

**Example Usage:**

Let's say you want to change your username to "SuperUser". You can do so by using the following command:
```
/set nickname SuperUser
```

In this example, `nickname` is the option you're changing, and `SuperUser` is the new value.

**Available Options:**

Here are some of the options you can set:

1. **Nickname**: Changes your username.
2. **Username**: Same as nickname, changes your username.
3. **Avatar**: Sets a new avatar for your profile.
4. **Status**: Sets your status message (e.g., "I'm busy" or "I'm happy").
5. **Channel**: Sets the default channel for a specific server.

**Tips:**

1. Make sure you're in the correct server and channel to set options that are specific to that server.
2. You can only set options for yourself, not for others.
3. Some servers may have custom options or restrictions on using certain `/set` commands, so be respectful of
these rules.

That's it! Using the `/set` command is a great way to customize your Discord experience and personalize your
profile.

 

今度翻訳して投稿したいと思います。

 

Raaspberry-PI4でも動かしたいです。

でもWindowsで動かせなければLinuxでも動かせないので、小さな第一歩はより大きな一歩につながる予定です。

 

だれか私にラズパイ5を下さい。 GPUないと遅いと思います。

だれか私にRX4080iのデスクトップください。メモリは64G/以上グラボも10G 以上欲しいです。

そうすれば、 1bit小型LLMにして、ESP32でも動かせるんじゃないでしょうか?