robots先輩が強すぎる
書きたいことを気にせず記述しているからか、本ブログは「robots.txt によりブロックされました」のエラーでインデックス登録されていない記事が多数あります。
過去の問題ありそうな記事は全部削除しましたが、それでもまだまだブロックされたままです。
おそらく記事毎に制御しているのだと思います。
本ブログは今の時点でだいたい1200記事を公開していますが、「robots.txt によりブロックされました」のエラーが600記事以上は発生しています。
つまり書いた記事の半分はなんらかの問題があり（主にスポンサー的に）、Googleに登録されていないということです。
robots.txtはAmebaのブログ管理側が設定していると思うので、ブロックの制御はAmebaの運営側で設定されています。
すでに公開した記事の中身を修正してもブロックが解除される見込みは薄いですね。
記事を削除して新たな記事を作成した方が良いとは思いますが、記録として今後は残しておきます。
ちょっと気になりましたが、robots.txtはAIも情報の選択の際に避けている可能性があります。
Googleのインデックス登録にはGPT-4を使っています。chatGPT1の有償版ですからね。
それがrobotsを参考にインデックス避けをしているので、AIももしかしたら情報取得の際に避けるのかもしれません。
そうなるとAIといえども事実の認識すら誤認される可能性がありますね。
情報取得の際にrobotsを参考にしないのであれば、著作権的な問題がさらに大きくなる予感がします。
