↓なるほど・・・
■LLMに注入するデータについて(出典からコピペしています)
出典:LLMはほぼチューリングマシン — そう意識するのが使いこなしのコツ ... かも
LLMはほぼチューリングマシンである。
使いこなしのコツは「良いテープを作る」こと
・何を載せるか。
無関係な記号はヘッド(attention)の邪魔にしかなりません。
エラーログを全文貼るより、エラーメッセージと該当箇所だけに絞る。
テープはノイズが少ないほど良いです
・どこに載せるか。
位置で効きが変わります。系列の先頭と末尾は効きやすく、長文の中盤は埋もれやすい(lost in the middle と呼ばれる現象)。
効かせたい記号は端に置きます
・どの順序で書くか。
前提 → 材料 → 問い、の順に積むと、後段の順伝播が読みやすい系列になります
・途中結果を書く余白を残すか。
答えだけを急かすとテープに展開できず、一発の順伝播の弱さがそのまま出ます。
「まず方針を書いてから」と促すのは、テープを作業領域として使わせる指示です
