Django Girls and Boys 備忘録

Python、Selenium、Django、java、iPhoneアプリ、Excelマクロなどで気付いたこと、覚えておきたいことなどを載せていきます。

【Python Selenium】スクレイピングのためのWebサイトアクセス例(Google検索キーワード入力など)

Pythonでseleniumを利用してウインドウアクセスする場合の簡単な例としてGoogle検索画面にアクセスして、キーワード入力するまでを載せておきたいと思います。

 

今回の内容としては、各ブラウザのドライバを設定して、Google検索画面にアクセスし検索窓にキーワードとして「abc」と入力することで結果画面を表示させるまでになります。

 

 

 

目次

 

1.キーワード検索サイトアクセス例(Chrome

 

Chromeの場合の例が以下になります。

 

from selenium import webdriver
from selenium.webdriver.chrome import service as fs
import os
from selenium.webdriver.common.by import By

path_driver = os.getcwd()+'\chromedriver.exe'
# ドライバー指定でChromeブラウザを開く
chrome_service = fs.Service(executable_path=path_driver)
driver = webdriver.Chrome(service=chrome_service)

driver.get('https://www.google.com/')

element = driver.find_element(By.NAME, "q")

#検索テキストボックスに"abc"を入力
element.send_keys("abc")

#Enterキーをクリックして検索
#element.send_keys(Keys.ENTER)
element.submit()

# タブを閉じる
driver.close()

driver.quit()

 

 

2.キーワード検索サイトアクセス例(Edge)

 

同様にEdgeの場合は以下になります。

6~9行目のドライバーの設定の箇所が違うだけです。

 

from selenium import webdriver
from selenium.webdriver.chrome import service as fs
import os
from selenium.webdriver.common.by import By

path_driver = os.getcwd()+'\msedgedriver.exe'
# ドライバー指定でEdgeブラウザを開く
edge_service = fs.Service(executable_path=path_driver)
driver = webdriver.Edge(service=edge_service)

driver.get('https://www.google.com/')

element = driver.find_element(By.NAME, "q")

#検索テキストボックスに"abc"を入力
element.send_keys("abc")

#検索実行
element.submit()

# タブを閉じる
driver.close()

driver.quit()

 

3.コードの簡単な説明

 

上記例では、

 

4行目までで必要なライブラリのインポートを行っています。

 

6~9行目はChrome用またはEdge用のドライバー設定となります。

 

6行目のos.getcwd()はカレントディレクトリを表しています。

 

6行目により、path_driverに、chromedriver.exeまたはmsedgedriver.exeのpathが入ります。

このパスの指定から、8,9行目でdriverの設定をしています。

 

このdriverを使用して、11行目でdriver.getの後にオープンしたいURLとしてGoogle検索画面のURLを指定することで検索画面を開いています。

 

その後、13行目で画面内で検索キーワード入力窓の要素を探索して「element」に設定しています。

 

16行目でsend_keysに検索用のキーワード「abc」を引数として渡すことで検索窓にキーワードを入力し、19行目で「Enter」を入力して検索実行しています。

 

22、24行目で開いたウインドウを閉じて終了させています。

 

これにより、Google検索画面を表示しキーワード入力して結果画面を表示させ、ウインドウを閉じて終了するまでの一連の流れができることになると思います。

 

以上がWebサイトへの簡単なアクセス例になります。

 

 

 

 

 

Web上のデータ取得、操作に関する参考書籍、サイトなどは、以下の過去記事にも載せていますのでよかったらご参照ください。

 

kuku81kuku81.hatenablog.com

 

 

また、Seleniumを活用したスクレイピングのための一通りの手順としてVisualStudioCodeなどのインストールや簡単なWebサイトアクセス例などは以下にも載せていますのでもしよければ見てみてください。

 

 

kuku81kuku81.hatenablog.com

 

関連記事:

【Python】おすすめ学習本ランキング8選 - Django Girls and Boys 備忘録

 

【Python】キーボード、キー入力判定方法 - Django Girls and Boys 備忘録

 

【Python】keyboardライブラリでのキー入力検出に使用可能なキーの種類 - Django Girls and Boys 備忘録

 

【Python】Python、Selenium関連情報一覧(ダウンロード、インストール手順、各種やり方、使い方など) - Django Girls and Boys 備忘録

 

【Python Selenium(初心者向け)】PythonのインストールからWebサイトへのアクセスまで含めた簡単なスクレイピングを行うための一通りの手順 - Django Girls and Boys 備忘録

 

【Python Selenium】各ブラウザ用のドライバーを自動アップデートする方法 - Django Girls and Boys 備忘録

 

【PythonからWeb操作】seleniumのインストール手順 - Django Girls and Boys 備忘録

 

【PythonによるExcelファイルの読み書き】PythonのダウンロードからExcelファイルの読み書きまでの一通りすべての方法 - Django Girls and Boys 備忘録

 

【Python Selenium】ウインドウ表示時などでのWaitの方法、待機方法 - Django Girls and Boys 備忘録

 

【Python Selenium】要素の属性名から属性値を取得する方法 - Django Girls and Boys 備忘録

 

【Python Selenium】find_element、find_elementsにて要素を取得する方法(name、id、class、tagName属性) - Django Girls and Boys 備忘録

 

【Python Selenium】スクレイピングのためのWebサイトアクセス例(Google検索キーワード入力など) - Django Girls and Boys 備忘録

 

【Python Selenium】サイトアクセス例(Google検索、スクレイピング、Excel書き込み) - Django Girls and Boys 備忘録