Scrapyフレームワークの基本構造と実践的ウェブスクレイピング
Scrapyのアーキテクチャとデータフロー
ScrapyはPythonで開発されたオープンソースのウェブスクレイピングフレームワークです。非同期処理を基盤とし、効率的なデータ収集を実現します。そのアーキテクチャは以下のコンポーネントで構成されています：
# 主要コンポーネント
1. スケジューラ (Scheduler) - リクエストのキュー管理と重複排除
2. ダウンローダ (Downloader ...
6月25日 18:10 投稿
Scala製Web記事抽出ツールGooseの基本的な使い方
GooseはGravity Labsが開発・公開したScalaベースのHTMLコンテンツ抽出ライブラリです。ウェブページから記事本文、タイトル、画像、公開日時などを自動で抽出でき、データ収集やテキスト分析に最適です。ここでは、Scala未経験者でもすぐに使えるよう、環境構築から実行までの流れを解説します。
開発環境の準備
まず、JDK 8以上とScala 2.10系（推奨バージョン2.10.1） ...
5月30日 12:06 投稿
PHPスパイダーを使ったウェブスクレイピング
正規表現を頻繁に書く必要がなく、特にHTMLの構造が不規則な場合は面倒です。ページの最小限の変動でも正規表現を再調整する必要があり、非常に煩わしい作業になります。
そこで、最初はスクレイピングライブラリを探しましたが、PHPで成熟したオープンソースプロジェクトはいくつかありました。
初めて試したのはphpQueryでしたが、jQueryのような機能を提供しており、時 ...
5月25日 17:57 投稿
Pythonによるブログアーカイブの自動化 — ウェブスクレイピングからExcel・Word出力まで
ソフトウェアエンジニアリングの履修課題として、ウェブ上からブログ記事を収集し、書式化されたドキュメントとして保存する処理を実装する機会は珍しくない。本稿では、Pythonを用いたスクレイピング技術に加え、ExcelおよびWord文書の自動生成方法について解説する。
開発環境の構築
本実装で使用する主要なライブラリは以下の通りである。requestsはHTTPリクエストの ...
5月21日 17:33 投稿