異端開発室

1. 正規表現（Regular Expressions）によるテキスト・HTML解析 p.Name == matchedName); if (targetPax != null) { targetPax.IssuingCountry = match.Groups["IssuingCountry"].Value.Trim(); targetPax.PassportNumber = match.Groups["PassportNo"].Value.Trim(); target ...

ネットワークリクエストの解析 検索エンジンの画像検索結果を効率的に取得するためには、ブラウザのデベロッパーツール（F12）を使用して、画像データを配信しているAPIエンドポイントを特定する必要があります。「Network」タブを開き、ページをスクロールした際に発生する「acjson」などのリクエストを確認します。ここに含まれるクエリパラメータ（キーワード、ページ番 ...

Scrapyのアーキテクチャとデータフロー ScrapyはPythonで開発されたオープンソースのウェブスクレイピングフレームワークです。非同期処理を基盤とし、効率的なデータ収集を実現します。そのアーキテクチャは以下のコンポーネントで構成されています： # 主要コンポーネント 1. スケジューラ (Scheduler) - リクエストのキュー管理と重複排除 2. ダウンローダ (Downloader ...

GooseはGravity Labsが開発・公開したScalaベースのHTMLコンテンツ抽出ライブラリです。ウェブページから記事本文、タイトル、画像、公開日時などを自動で抽出でき、データ収集やテキスト分析に最適です。ここでは、Scala未経験者でもすぐに使えるよう、環境構築から実行までの流れを解説します。 開発環境の準備 まず、JDK 8以上とScala 2.10系（推奨バージョン2.10.1） ...

正規表現を頻繁に書く必要がなく、特にHTMLの構造が不規則な場合は面倒です。ページの最小限の変動でも正規表現を再調整する必要があり、非常に煩わしい作業になります。 そこで、最初はスクレイピングライブラリを探しましたが、PHPで成熟したオープンソースプロジェクトはいくつかありました。 初めて試したのはphpQueryでしたが、jQueryのような機能を提供しており、時 ...

ソフトウェアエンジニアリングの履修課題として、ウェブ上からブログ記事を収集し、書式化されたドキュメントとして保存する処理を実装する機会は珍しくない。本稿では、Pythonを用いたスクレイピング技術に加え、ExcelおよびWord文書の自動生成方法について解説する。 開発環境の構築 本実装で使用する主要なライブラリは以下の通りである。requestsはHTTPリクエストの ...