# ブログ記事ヘッドレスモードテスト 20220218

 

# Beautifulsoup sleep urllib ライブラリインポート

from bs4 import BeautifulSoup

 

# Seleniumとwebdriver のインポートと設定

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

 

#ヘッドレスモードに必要なモジュール

from selenium.webdriver.chrome.options import Options

# オプションの作成

options = Options()

options.add_argument('--headless')

# Cromedriverの設定:コマンドPWDで表示されるパスを設定(現在のパスと同じなら./となる)

# CromedriverはコマンドPWDで表示されるパスのフォルダの中にいれておくこと!!!

path = r'/Users/kabayon/Desktop/Python/chromedriver'

# Chromeをヘッドレスモードに設定

driver = webdriver.Chrome(executable_path=path ,options=options)

 

# 記事url設定

url = "https://ameblo.jp/kabayon/"

 

# getting HTML by UTF-8

driver.get(url)

html = driver.page_source.encode('utf-8')

soup = BeautifulSoup(html, 'html.parser')

print(soup.text)

 

driver.quit()