【Python Selenium】サイトアクセス例（Google検索、スクレイピング、Excel書き込み）

Pythonでseleniumを利用してウインドウアクセスする場合の簡単な例の第2弾として、Google検索画面にアクセスし、キーワードを入力、表示された結果のタイトルとURLをExcelに書き込みするまでを載せておきたいと思います。

前回同様内容としては、各ブラウザのドライバを設定して、Google検索画面にアクセスし検索窓にキーワードとして「Python Selenum」と入力することで検索結果を表示させ、結果として表示された１ページ目のそれぞれの項目のタイトルとURLを取り込んでExcel画面に表示させるまでになります。

Excelファイルの操作がありますのでopenpyxlのインストールが必要になります。

これについては以下の過去記事で記載していますのでご参照ください。

kuku81kuku81.hatenablog.com

１．サイトアクセス、スクレイピング、Excel書き込み例（Chrome）
２．サイトアクセス、スクレイピング、Excel書き込み例（Edge）
３．コードの簡単な説明

１．サイトアクセス、スクレイピング、Excel書き込み例（Chrome）

Chromeの場合の例が以下になります。

from selenium import webdriver
from selenium.webdriver.chrome import service as fs
import os
from selenium.webdriver.common.by import By
import openpyxl

path_driver = os.getcwd()+'\chromedriver.exe'
# ドライバー指定でChromeブラウザを開く
chrome_service = fs.Service(executable_path=path_driver)
driver = webdriver.Chrome(service=chrome_service)

searched_list = []

driver.get('https://www.google.com/')

search = driver.find_element(By.NAME,"q")
search.send_keys("python selenium")         # 検索ワードを送信
search.submit()                             # 検索を実行

# Google検索結果からタイトルとURLを抽出
for elem_h3 in driver.find_elements(By.XPATH,'//a/h3'):

    elem_a = elem_h3.find_element(By.XPATH,'..')

    page_data = []
    page_data.append(elem_h3.text)
    page_data.append(elem_a.get_attribute('href'))

    searched_list.append(page_data)

path_excel = os.getcwd()+'\\test.xlsx'
wb = openpyxl.load_workbook(path_excel)
ws = wb['Sheet1']

x = 2
for element in searched_list:

    ws.cell(x, 2).value = element[0]
    ws.cell(x, 3).value = element[1]

    x += 1

wb.save(path_excel)

# タブを閉じる
driver.close()

driver.quit()

２．サイトアクセス、スクレイピング、Excel書き込み例（Edge）

同様にEdgeの場合は以下になります。

７～１０行目のドライバーの設定の箇所が違うだけです。

from selenium import webdriver
from selenium.webdriver.chrome import service as fs
import os
from selenium.webdriver.common.by import By
import openpyxl

path_driver = os.getcwd()+'\msedgedriver.exe'
# ドライバー指定でEdgeブラウザを開く
edge_service = fs.Service(executable_path=path_driver)
driver = webdriver.Edge(service=edge_service)

searched_list = []

driver.get('https://www.google.com/')

search = driver.find_element(By.NAME,"q")
search.send_keys("python selenium")         # 検索ワードを送信
search.submit()                             # 検索を実行

# Google検索結果からタイトルとURLを抽出
for elem_h3 in driver.find_elements(By.XPATH,'//a/h3'):

    elem_a = elem_h3.find_element(By.XPATH,'..')

    page_data = []
    page_data.append(elem_h3.text)
    page_data.append(elem_a.get_attribute('href'))

    searched_list.append(page_data)

path_excel = os.getcwd()+'\\test.xlsx'
wb = openpyxl.load_workbook(path_excel)
ws = wb['Sheet1']

x = 2
for element in searched_list:

    ws.cell(x, 2).value = element[0]
    ws.cell(x, 3).value = element[1]

    x += 1

wb.save(path_excel)

# タブを閉じる
driver.close()

driver.quit()