Django Girls and Boys 備忘録

Python、Selenium、Django、java、iPhoneアプリ、Excelマクロなどで気付いたこと、覚えておきたいことなどを載せていきます。

【Python Selenium】クローリング、スクレイピングにて対象ウインドウのソースコードを調べる方法

 

Pythonseleniumを利用してウインドウアクセスする場合には、まずは、対象のウインドウ内の構造や要素などを調べるところからはじまります。

 

そのための方法としては、以下のようなやり方などがあります。

 

 

目次

 

 

1.ブラウザの開発者ツールを利用する方法

 

まずはじめの方法としては、ブラウザのF12キーをクリックすることで開発者ツールを起動する方法です。

 

これにより、以下のようにウインドウ内に開発者ツールが起動します(GoogleChromeの例)。

 

開発者ツール起動

開発者ツール起動

 

この状態で、開発者ツール内の左上にある要素選択ボタン(四角に矢印が付いたボタン)をクリックします。

 

これにより、詳細を表示したい要素の上にカーソルを移動すると開発者ツール内のソースコードの表示が指定した箇所のコード表示に移動してくれます。

 

尚、ウインドウ内がいくつかのフレームなどに区切られていた場合には、該当するフレーム内をカーソルクリックなどで指定してからF12キーをクリックしないと別のエリアのコードが表示されるなどとなるようです。

 

調べたいウインドウを表示させてこれを繰り返すことでウインドウ内の要素、構造などを調べていきます。

 

 

2.ブラウザの「ページのソースを表示」を利用する方法

 

もう1つの方法は、対象のウインドウ内で右クリックをし、「ページのソースを表示」を選択することで対象ウインドウのソースコードを別ウインドウに表示させる方法です(ブラウザにより表記に違いがあるかもしれません)。

 

右クリック、ページのソースを表示を選択

右クリック、ページのソースを表示を選択

 

これをテキストファイルに保存するなどして別途ファイルの内容確認しウインドウの中身を調べていきます。

 

 

3.プログラム内にソースコード保存を組み込む方法

 

最後の方法は、Pythonseleniumでウインドウアクセスを行っていく中で、プログラム内でウインドウのソースをテキストファイル保存する方法です。

対象のウインドウを表示させたあとに、ソースコードをテキストファイル保存するプログラムを追加していきます。

 

これについては、以下のような過去記事で紹介していますのでそちらを参照ください。

 

 

kuku81kuku81.hatenablog.com

 

 

これらの方法を駆使しながら、対象ウインドウの要素や構造を調べウインドウアクセスしていくことになります。

 

 

 

 

 

 

関連記事:

【Python】キーボード、キー入力判定方法 - Django Girls and Boys 備忘録

 

【Python】keyboardライブラリでのキー入力検出に使用可能なキーの種類 - Django Girls and Boys 備忘録

 

【PythonからWeb操作】seleniumのインストール手順 - Django Girls and Boys 備忘録

 

【PythonによるExcelファイルの読み書き】PythonのダウンロードからExcelファイルの読み書きまでの一通りすべての方法 - Django Girls and Boys 備忘録

 

【PythonでのExcelファイル読み書き方法】ファイルオープンしているファイル(アクティブファイル)への書込方法 - Django Girls and Boys 備忘録

 

【Python Selenium】Webサイトのスクレイピングなどで必要なフレーム間移動方法 - Django Girls and Boys 備忘録

 

【Python Selenium】ブラウザ用ドライバーのダウンロードとインストール方法 - Django Girls and Boys 備忘録

 

【PythonからWeb操作】selenium、各ブラウザ用ドライバーの最新バージョン確認、ダウンロード場所 - Django Girls and Boys 備忘録

 

【Python Selenium】新規ウインドウ追加時のウインドウ切替方法 - Django Girls and Boys 備忘録

 

【Python Selenium】ウインドウ表示時などでのWaitの方法、待機方法 - Django Girls and Boys 備忘録

 

【Python Selenium】新規ウインドウ(新規タブ)追加時のウインドウ切替方法(追加ハンドルをハンドル差異比較にて取得) - Django Girls and Boys 備忘録

 

【python】実行時に表示されるコンソールウインドウを非表示にする方法 - Django Girls and Boys 備忘録

 

【Python Selenium】Webサイトのソースコードをファイル保存する方法 - Django Girls and Boys 備忘録

 

【Python Selenium】EdgeのI.E.モード操作の事前準備での設定 - Django Girls and Boys 備忘録

 

【Python Selenium】EdgeのI.E.モードでブラウザ操作する場合のドライバー設定方法と簡単な起動例 - Django Girls and Boys 備忘録

 

【Python】キー入力によるプログラム終了処理、ループを抜けて次の処理へ移行する処理 - Django Girls and Boys 備忘録

 

【Python Excel】ExcelからのPython実行ファイル(アプリケーションファイル)起動方法 - Django Girls and Boys 備忘録

 

【Python Seleuium】ブラウザの拡大率の設定変更 - Django Girls and Boys 備忘録

 

【Python Selenium】EdgeのI.E.モードのドライバー設定での拡大率、保護モード設定チェックを無視する方法 - Django Girls and Boys 備忘録

 

【Python】ログイン中のユーザ名を取得する方法 - Django Girls and Boys 備忘録

 

【Python Selenium】クローリング、スクレイピングにて対象ウインドウのソースコードを調べる方法 - Django Girls and Boys 備忘録

 

【Python Selenium】ウインドウのURLを指定して画面展開する方法と現在表示されているウインドウのURLとタイトルを取得する方法 - Django Girls and Boys 備忘録

 

【Python Selenium】ウインドウハンドル取得方法 - Django Girls and Boys 備忘録