留意点
1)クッキーで使うcsrf_tokenを忘れず、設定する。
2)Chromeで、javascriptをdebugするには、F12を押して、{}を押すとCodeを整形してくれる。
CSSは、右クリックで検証を選ぶだけで、Elementまで飛んでくれる。
3) スクレイピングには、BeautifulSoupを使う。
py -m pip install beautifulsoup4
例えば、<h3><a href="http://blah">を含むタグの配列を抽出するには、以下の通り。
r = self.s.get(url_tag)
soup = bs4.BeautifulSoup(r.text, "html.parser")
medias = list(soup.select('h3 a'))
twilo2008 フォロワー12人 24人をフォロー中
yamagayosho
フォロワー2人 16人をフォロー中
*追記
Get-Content -Path 20200106.yamagayosho.log -Tail 0 -Wait