Linux上でのWebスクレイピング環境構築ガイド
本ガイドでは、Linuxサーバー上でPythonを使用したWebスクレイピング環境を構築する手順について解説します。必要なライブラリ、ブラウザ、および関連ツールのインストール方法から、一般的なエラーへの対処法までを網羅します。
Python 3のセットアップ
Webスクレイピングの基盤として、Python 3をインストールします。ここでは、ソースコードからコンパイルしてインスト ...
11月2日 01:57 投稿
Go言語で実装するAmazon CAPTCHA自動解析ライブラリの活用ガイド
AmazonCaptchaライブラリの概要
AmazonCaptchaは、Go言語の標準ライブラリのみを使用して構築された、AmazonのテキストベースCAPTCHAを画像処理により解析するためのライブラリです。主に教育や研究目的での利用を想定しており、外部依存関係を追加せずにCAPTCHAの文字列抽出を行うシンプルなAPIを提供します。
※本ライブラリの利用は、関連する法律および各サービスの利用 ...
10月10日 11:26 投稿
Docker Chrome における Selenium のスレッドセーフな単一ブラウザインスタンス管理
Docker
コンテナ環境で Selenium を使用して Web スクレイピングを行う際、特に docker-standalone-chrome
などのリモート WebDriver
を利用する場合、同時に複数の Chrome
インスタンスが起動・実行されるわけではなく、単一のインスタンスを共有する必要が生じることがあります。
この制約に対処するため、スレッドセーフな方法で単一のブラウ ...
9月13日 11:00 投稿
PythonとSeleniumを用いたPhantomJSによるヘッドレスブラウザテストの実装
Seleniumは、ブラウザの起動、ページ遷移、クリック操作、フォーム送信、ウィンドウサイズの変更など、Web上の多岐にわたる操作を自動化するための強力なフレームワークです。特にスクレイピングやテスト自動化において重宝されるのは、JavaScriptのレンダリングを含め、実際のブラウザと同じようにページを描画できる点にあります。
PhantomJSはWebKitベースのヘッドレス ...
9月1日 13:38 投稿
PythonとSeleniumによる履歴書自動更新の実装手順
概要
本記事では、Python と Selenium を利用して、求人サイト「51job」上で履歴書を定期的に自動更新する方法を解説します。ブラウザ操作を自動化することで、手動での更新作業を省略できます。
必要な環境
Python 3.6 以上
Selenium ライブラリ
Chrome ブラウザと対応する ChromeDriver
51job のアカウント
Python と Selenium のセットアップ
まず ...
8月24日 20:46 投稿
Web UI自動化テストの設計モデル：リニアアプローチとモジュラー駆動の実践
自動化テストフレームワークやツールの設計思想は「テストモデル」として分類されます。技術の進化に伴い、主に以下の4つのモデルへと発展してきました。
リニアテスト（Linear Testing）
モジュラー駆動テスト（Modular Driven Testing）
データ駆動テスト（Data Driven Testing）
キーワード駆動テスト（Keyword Driven Testing）
リニアテスト
リニアテストは最も基 ...
8月11日 14:50 投稿
Pythonウェブスクレイピング入門：BeautifulSoupとSeleniumの基本
一、BeautifulSoup4モジュール
beautifulsoup4はHTMLやXMLファイルからデータを抽出するPythonライブラリで、スクレイピングで取得したXMLを解析するために使用されます。
1. インストール
pip install beautifulsoup4 # bs4モジュールのダウンロード
pip install lxml # 解析ライブラリ
2. 使用方法
'第一引数：解析する文字列'
'第二引数：使用する解析 ...
7月31日 23:20 投稿
Seleniumの明示的な待機処理
UI自動化テストを実行する際、テストケースの安定性を維持するために明示的な待機処理を設定することがよくあります。明示的な待機とは、特定の要素の出現や特定の条件（クリック可能、表示など）が満たされるまで明確に待機することを指し、指定された時間内に条件が満たされない場合、Exceptionが発生します。
以下はSeleniumを使用したテストケースの例で、Seleniumにお ...
7月30日 06:00 投稿
SeleniumによるWebアプリケーションの自動テスト
Seleniumは、Webアプリケーションのテストを行うためのツールです。このツールを使用してブラウザを操作し、APIを通じてWebアプリケーションのユーザーインターフェースをテストできます。
まず、SeleniumライブラリとChromedriverをインストールする必要があります。以下のようにpipコマンドを使用してSeleniumをインストールします：
pip install selenium
また、Chrome ...
7月28日 20:19 投稿
Seleniumを用いたWeb自動テスト入門
自動テストとは何か
自動テストとは、繰り返し実行が必要なテストケースを、スクリプトによってコンピュータが自動で実行する手法です。具体的には、ブラウザの起動、リンクのクリック、フォームへの入力、ボタン押下などの一連の操作をプログラムで再現し、得られた結果が期待値と一致するかを検証します。
利点
人的リソースの大幅な削減
高速なテスト実行
夜間 ...
7月19日 17:59 投稿