Python Web クローリング実装：urllib から Scrapy までの進化
HTTP リクエストライブラリの比較と選定
Python において Web クローリングや HTTP 通信を行う場合、標準ライブラリからサードパーティ製の強力なライブラリまで、複数の選択肢が存在します。主に urllib、urllib2、requests、そしてフレームワークである Scrapy が挙げられます。それぞれの特性を理解し、目的に応じて使い分けることが重要です。
urllib と urllib2 の違 ...
7月11日 22:28 投稿
Pythonウェブスクレイピング：主要ライブラリと実装ガイド
ウェブスクレイピングに役立つPythonライブラリ
代表的なライブラリ
requests: HTTPリクエストを送信するためのライブラリ
selenium: ブラウザを自動化するためのツール
lxml: 高速なXML/HTMLパーサー
BeautifulSoup: HTML/XML解析ライブラリ
pyquery: jQueryライクな文法でHTMLを操作できるライブラリ
pymysql: MySQLデータベース接続用ライブラリ
pymongo: MongoDB操作 ...
7月6日 19:44 投稿
PythonによるWebスクレイピング入門
基本概念
Webスクレイピングとは、プログラムを用いてユーザーの操作を模倣し、大量のHTTPリクエストを自動で送信してデータを取得する技術である。
スクレイピングの種類
汎用クローラ（General Crawler）
検索エンジン（Google、Baiduなど）が使用するシステムの一部であり、インターネット上のウェブページを可能な限りダウンロードし、ローカルにミラーリングする。そ ...
6月5日 21:27 投稿
Python製CLIツールによる気象・グルメデータ収集のスクレイピング実装
データ収集の前提と対象ドメインの選定
ウェブ上の公開情報を自動収集する際、最初の工程は抽出が容易な対象URLの特定です。単純なHTTPリクエストを送信し、レスポンスとして返されるHTML構造がブラウザでのレンダリング結果と一致しているか確認することで、初期段階のアクセス制限やクライアントサイドレンダリングの有無を判定できます。学習目的では、複雑な認証フロー ...
5月20日 19:29 投稿