生成AIとの付き合い方：スクレーピングから見えてきた可能性と限界

前の記事

『2026年度以降に募集停止を予定している日本の短大・大学』

を３月５日時点判明分に更新しました。

ニュースサイト、教育情報サイトを中心に検索（スクレーピング）して表形式にまとめているのですが、どうしても漏れがでます。おそらく全国を丁寧に見ていくとまだあるかもしれません。

urlをGrok（xの生成AI）に渡して表を更新しています。Grokはスクレーピングには自信があるということでしたが、漏れがありました。それで見つかったものを教えてあげて表にしてもらってます。html形式のtableにしてもらうとブログにも掲載できるので重宝してますが、やはり情報精度を信用しすぎると良くないです。

生成AIのことなのですが、pdfを読ませるとどうも全文読まずにズルをするのですよ。これが効率を最優先に求めるので起こるリワードハッキングが起こっているのではないかと思っています。

リワードハッキングはSAKANA AIが先日犯した誤報事件で問題になりました。

詳しくはnoteに書きました。

AIが人間を騙した日：Sakana AIの誤報が示す未来｜ブラックコーヒー

pdfを参照させる時は全文をしっかり読むようにプロンプトに書く必要があります。ほんとうに要領のいい子どものようで油断できません。

スクレーピングやテキストマイニングについては信頼できるまでしっかりと付き合う必要がありますが、ある程度伴走すると強力な助っ人になると思います。