仕様変更があったため、更新している。詳細は以下。

『Pythonでアメブロのアクセス解析をスクレイピング・ダウンロードするコード　2024』 2021年に作ったコードがAmeba側の仕様変更で動かなくなったので修正。修正部分は太字の3行。accountIDとPasswordに各々のIDとパスワー…

ameblo.jp

アメブロのアクセス解析ログは3ヶ月※1で消えてしまう。しかもダウンロード機能がない。そこで、1ヶ月分のアクセスログをまとめてダウンロードするコードを書いてみた。月に一度実行すればログを保存することが可能となる。

アクセス解析の画面を見るには当然ながらログインする必要がある。自動でログインさせるために、コード中のaccountIDとPasswordに各々のIDとパスワードを書いておく必要がある。

import time
import calendar
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException

#年月を指定
year=2021
month=1

days=calendar.monthrange(year, month)[1]#当該月の日数取得
if(month<10):
    month="0"+str(month)

options = webdriver.ChromeOptions()
#ブラウザを表示させる場合、以下をコメントアウト
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)

wait = WebDriverWait(driver, 10)
filename='tmp'+str(year)+str(month)+'.txt'
f=open(filename,mode='a')

URL='https://www.ameba.jp/oauth/ameba?frm_id=v.pc-side-login--login-link'
driver.get(URL)

driver.find_element_by_name('accountId').send_keys("aaaa@aaa.com")#ID
driver.find_element_by_name('password').send_keys("pppp")#Password
driver.find_element_by_class_name('c-btn--primary').click()#ログインを押す

for day in range(1,days+1):
    URL='https://blog.ameba.jp/ucs/analysis/analysis_page.do?unit=specific_day&date='+str(year)+str(month)+str(day)
    driver.get(URL)
    element = wait.until(EC.visibility_of_all_elements_located)
    elem=list()
    time.sleep(3)

    try:
        #アクセスのあるページが50ページ以上ある場合、「もっと見る」と出るので押す
        morelink=driver.find_element_by_class_name("p-accessGraph__moreLinkBtn")
        morelink.click()
        time.sleep(3)
    except NoSuchElementException:
        pass

    elem=driver.find_elements_by_class_name("p-accessGraphItem__link")
    count=-1
    for i in elem:
        count+=1
        link=elem[count].get_attribute("href")
        f.write(str(year)+'/'+str(month)+'/'+str(day)+","+elem[count].text+" ,"+link+"  \n")
f.close()
driver.quit()

#以下、出力ファイルの整形
with open(filename, encoding="cp932") as f:
    data_lines = f.read()

data_lines = data_lines.replace("\n", ",")
data_lines = data_lines.replace("html  ,", "html\n")
#保存
filename2=str(year)+str(month)+'.csv'
with open(filename2, mode="w", encoding="cp932") as f:
    f.write(data_lines)

例えば、この画面に対して

以下のテキストが出力される

2021/01/31,1,阪急電車のすみっコぐらし号に狙って乗る方法,10/8 22:45,42.6%,83 ,http://ameblo.jp/ken-pc-works/entry-12629986995.html
2021/01/31,2,阪急電車のすみっコぐらしスタンプラリーですみっコぐらし号に乗りまくってみた,11/3 21:51,3.6%,7 ,http://ameblo.jp/ken-pc-works/entry-12635782612.html
2021/01/31,3,人生ゲームの最高金額,2/9 21:54,2.6%,5 ,http://ameblo.jp/ken-pc-works/entry-12438992358.html
2021/01/31,4,人生ゲームは世相を反映している？,4/20 23:59,2.6%,5 ,http://ameblo.jp/ken-pc-works/entry-12455733898.html
2021/01/31,5,テレワーク時代には通勤カバンは激減するのでは,1/27 23:39,2.6%,5 ,http://ameblo.jp/ken-pc-works/entry-12652995383.html

ｃｓｖとしてExcelに食わせることで、好きなように集計できる。

●既知の問題（きちんと作れば回避可能だが面倒なので・・）

・1日から末日まで実行するので、末日以外に当月分を実行するとエラーが出る。

・タイトルに,（半角カンマ）があると生成ファイルが乱れる

・タイトルの末尾が「html 」（半角スペース2つ）となっている場合生成ファイルが乱れる

・微細なアクセス解析画面の仕様変更でも動かなくなると思われる

・もっと見るを複数回押す必要がある状況（あるのかどうか不明）には未対応

・Waitの3秒には根拠がなく、「私の環境ではWaitなしでは読み込みが失敗し、3秒待てば動いた」というだけである。

PS　上の画面にあるようにここ数ヶ月、当ブログのアクセスの半数近くはすみっコぐらし関係である。

22/05/11追記

既知の問題に以下を追加する。

・1日の特定記事へのアクセス数が1000以上の場合、生成ファイルが乱れる。

※1　メニュー上は当月、前月、前々月しか見えないが、実際にはもう少し前まで残っている。これを書いている2/1時点で10/25まで残っており、過去100日分を残しているようだ。