どうも、敗北者ねへほもんです。
今日1日棒に振りました。
泣きたい・・・
1.Chat GPTを使ってみた
最近話題のコレ、僕はAI関連のネタはとりあえず触っており、「〇〇とは何か？」を質問するとか、かるーく使ったことはありましたが、さほど熱心には使いませんでした。
職場で謎の勉強会が発足して、「Chat GPTにプログラミングを教わりながら何かのアプリを作ってみよう」という話が出ました。個人的に特に何か自動化したいという要望は無かったのですが、ふとあるアイデアが浮かびました。
「WIXOSSBOXの更新作業を自動化できるんじゃね・・・？」
グルメ部の一員、からばこさんが担当されており、僕は無関係ではあるのですが、ふと思い付いたので、試して良いかとか昨日相談してみて、まぁやってみたらと言ってもらえました。
作業を聞くとざっと以下の3段階に分けられ、全ては無理でも、一部は自動化できそうな気がしました。
①セレモニー開催店舗のTwitterアカウントを調べる
②該当アカウントからセレモニー入賞レシピのツイートを拾う
③当該ツイートのリンクをWIXOSSBOXのサイトに書き込む
僕はWebサイトをいじった経験は無いので、③は無理だと思いましたが、①や②はいける気がしました。
②は競馬のデータを拾う時にスクレイピングした経験があったので、似たようなものだろうと。
ただ、一般WebサイトとTwitterの差があるので、そこの差をChat GPTに聞けば良いかな、差があるせいで詰まないと良いなと思いました。
まぁ実際詰んだんですけどね
2.価値ある情報には金が掛かる、まぁ当然か
まずはChat GPTに聞いてみる。これがプログラミングの鉄則。
質問文を軽く打ち込むだけで、説明文付きでプログラムの例が出てきます。
Copy codeをクリックして、Pythonのプログラムに貼り付けるだけで完成です。
はえぇ。
更に優秀なのが、エラーの対処法まで教えてもらえることです。
今までもプログラミングする時は、やりたい作業をググって、似た作業のプログラムをコピーしていたのですが、「作業が似ているだけで微妙にプログラムを変える必要がある」とか「何かインストールする必要がある」とか、ちょっとした不具合で行き詰まり、ググって解決する必要がありました。
ただ、ググっても直接自分の悩みに繋がる解決策が見つからないとか、専門用語だらけ過ぎて理解できないとか、英語のサイトに誘導されて読むのに苦労することが多々あり、解決に時間が掛かることがしばしば。
しかしChat GPTがあれば、エラー文を貼り付けるだけで解決策を提示してくれます。
マジで凄い。
Chat GPTに聞いた結果、Twitterのツイート情報を拾うには、Twitter APIを使えば良いということが分かり、その準備も滞りなく進みました。
が、最後の最後で越えられない壁に直面しました。
エレベートアクセスプランに申し込めと言われました。
要するに、
1ヶ月100ドル払え
ということです。
いや、趣味の活動にそんなに払えんが。
百歩譲って自己責任で払うのは良いとして、ばこさんに払えとは言えんが。
イーロン・マスク氏は、日々流れるツイートが金になるということを理解しているようです。
個人はともかく、企業がマーケティング目的等で使うには微々たる額ですからね。
3.1日浪費した件
仕方ないので他のアプローチで挑むことにしましたが、いずれも惨敗しました。
・セレモニー開催店舗のTwitterアカウントを調べる
こちらもChat GPTに教えてもらいました。
お茶目なことに、たまに回答を誤りますが、聞き直すと訂正してくれることもあります。
エラーが出た時は聞き返す癖を付けると良いでしょう。
よし、これで大丈夫かな？
→結果：100ドル払え
いやいや、アカウント検索くらいタダでやらせてくれてもえぇやん。
Twitter APIの無料モードは、Bot投稿は出来るものの、データ収集方面は全滅のようです。
・HTMLデータを取得
右クリック→ページのソース表示でHTML形式で確認できます。
競馬のデータ収集で使った手法です。
まるで意味が分からんぞ
競馬の時は、<馬名>エフフォーリア、<性別>牡馬のように、タグと欲しい情報がセットになっていたため、情報収集が容易でした。
Twitterで言うと、<投稿者>ねへほもん、<本文>優勝した、<画像>デッキレシピ.jpegのような形式が出てきたらいいなと思いましたが、まぁ何も分からん。
100ドル払ってTwitter APIの有料プランに入れということなのでしょう。
・他のツールを使う
Chat GPTに聞いてもTwitter APIを使えの一点張りなので、諦めてググるという古来の手法に頼ることにしました。
調べてみると、Octoparseというサービスが見つかりました。
プログラミング不要でスクレイピングできるという触れ込みで、画期的だなと感じました。
実際、↑のようにツイート情報を取得することができました。
こんな感じで表形式に整理できれば、
・日付：週末の土日
・本文：セレモニーとか入賞といった単語で検索
でソートすることで、該当ツイートのURLを探し出すことができます。
ただ、やはり行き詰まりました。
最初の数件しか取得できない
軽く試して数件のツイートが取得できたので、これはイケるかもと希望を持ったのが良くなかった。
何回やっても最初の数件しか取得できず、ツイートを100件くらい遡って取得し、その後でセレモニーに関連するツイートを抜き出すという流れに持ち込めません。
Octoparseのスクレイピング方法は、画面を物理的にスクロールして欲しい情報を拾うという原始的な手法で、サイトによってはスクロールや取得対象データの特定に上手く行かないようです。
数回スクロールすれば終わりに辿り着く普通のWebページと異なり、延々とスクロールすると何百、何千というツイートを遡れるTwitterだと、スクロールして情報を拾うという手法と合わないのかもしれません。
ちなみに、Octoparseには自前でスクレイピングのワークフローを構築するカスタマイズの他に、Twitterの情報収集に特化したテンプレートも存在します。
が、テンプレートを使うにはやはりお金が掛かります。
金！金！金！騎士として恥ずかしくないのか！！！(商売人なので当然か)
最初にChat GPTに質問していた頃はとんとん拍子に進んでいましたが、Octoparseがうまくスクロールして情報拾ってくれねぇぇぇの沼に嵌ってからは無為に数時間が溶けていきました。
15時に競馬休憩を取って冷静さを取り戻し、再度やり直して「こりゃ無理だ」と諦めたため、こちらの記事に恨みつらみを書き連ねることとなりました。
こういう失敗談は闇に葬りたかったのですが、ばこさんから報告してくれと言われていたので・・・
今回はダメでしたが、(最初の1時間だけは)Chat GPTを使う良い経験になったと思うこととします。
Twitterの課金圧に屈しただけでChat GPT自体は有用だと感じたので、皆さんも是非使ってみてください。
有料のGPT4は更に回答精度がスゴイらしいので、職場から補助金が出たら試してみたいです。
では(^^)/