ウェブサイトからデータをスクレイピングする場合、PythonとSeleniumの組み合わせは 便利です。
Seleniumはウェブブラウザでの操作を自動化するための強力なツールです。
今回は、PythonとSeleniumを使用してウェブサイトをスクレイピングする際にJavascriptを活用する事例について説明します。
目次
１．Javascriptを操作する書式
Seleniumからjavascriptを操作する場合には以下のような書式で記載します。
（driver：Webドライバー設定）
'some javascript code here'の箇所にJavascriptのコマンドを記載します。
driver.execute_script('some javascript code here');
２．使用例
実際にこれを活用した例としては、たとえば以下のようなものがあります。
（SeleniumのVer.4.6以降の場合の書式）
from selenium import webdriver
from selenium.webdriver.common.by import By
#ドライバー用パスの設定
driver = webdriver.Chrome()
# Googleの検索結果ページにアクセス
driver.get("https://www.google.com")
# 検索ボックスにキーワードを入力
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python scraping with JavaScript")
# 検索ボタンをクリック
search_box.submit()
# JavaScriptを実行してウインドウを縦方向にスクロール
driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
# ブラウザを閉じる
driver.quit()
この例では、Chrome用のWwebドライバーを設定した後、Google検索画面を開き、キーワード入力後にJavascriptを実行しています。
Javascriptでは、ウインドウを縦方向にスクロールしています。
また、Javascriptを操作することで動的なコンテンツやインタラクティブな要素も取得することが可能です。ぜひ、PythonとSeleniumwo 活用して、様々なウェブサイトからスクレイピングしてみてください。
