JavaでHTMLテキストを抽出して改行を挿入する方法
HTML文書からテキストを効率的に抽出することは、Webスクレイピングやデータ処理において頻繁に必要な処理です。Java ecosystemでは、Jsoupライブラリを使用することで、複雑なHTML構造から目的のテキスト情報を بسهولةに取得できます。本稿では、Jsoupを活用したHTMLテキスト抽出と改行処理の実装方法について解説します。
Jsoupの概要と特徴
Jsoupは、JavaでHTML文書を ...
7月28日 20:47 投稿
ソフトウェア工学の期末対策とクローラーコードの実装例
ソフトウェア工学の学習と対策
一、ソフトウェア工学の学習軸
ソフトウェア工学の学習および試験対策では以下の3つの要素を押さえる必要があります：
1.要件定義と設計
ユーザーの要件を正確に理解し、実装可能なソフトウェア設計に変換する方法。
主なポイント：UML図（ユースケース図、データフローディアグラム、状態遷移図、シーケンス図、クラス図など）の描画方法と ...
7月24日 21:08 投稿
PythonによるScrapyプロジェクト実践：当当ネットワークの商品データ取得（第2回）
アイテムを使用してデータをカプセル化
前回作成したスパイダーで取得した書籍情報はprint出力のみでした。今回はItemを使用してデータ構造を定義し、後続処理に渡せるようにします。まずitems.pyに以下のようなクラスを定義します：
import scrapy
class DangdangBookItem(scrapy.Item):
# 書籍画像URL
image_url = scrapy.Field()
# 書籍タイトル
boo ...
6月29日 20:52 投稿
PythonによるWebスクレイピング入門
1. 前提条件
学習者はPythonの基礎知識（数値型・文字列型・分岐・ループ・関数・リスト型・辞書型・ファイル操作・外部ライブラリ利用）を習得している必要があります。
2. Webスクレイピング基本プロセス
HTTPリクエスト送信
requestsライブラリでターゲットサイトにリクエストを送信します。リクエストにはヘッダーとボディが含まれますが、JavaScript/CSS実行機能は ...
6月12日 00:41 投稿
Pythonで実現するオフィス自動化の実用テクニック
ファイル一覧の取得
import os
def scan_directory(path):
for folder, _, filenames in os.walk(path):
for name in filenames:
full_path = os.path.join(folder, name)
print(full_path)
# 使用例
scan_directory('/path/to/target')
周期的タスクの実行
import schedule
import time
def daily_backup():
print("バック ...
6月8日 22:31 投稿
PythonのlxmlライブラリにおけるXPathの実践的使い方
1. ワイルドカードの応用
記号
用途
*
任意の要素名を同階層でマッチ
@*
任意の属性を同階層でマッチ
node()
ノードタイプに関係なく同階層でマッチ
*/
複数階層の任意要素をマッチ
//
任意階層の要素を圧縮的にマッチ
...
6月7日 22:07 投稿
Beautiful Soupを使ったPythonでのHTML解析入門
1. Beautiful Soupライブラリの導入
「美味しいスープ」の名で親しまれるBeautiful Soupは、HTMLやXML形式のデータを解析し、必要な情報を抽出するためのPythonサードパーティライブラリです。公式サイトは「https://www.crummy.com/software/BeautifulSoup/」です。
インストールはpipコマンドで行います。以下のコマンドを実行してください。
pip install BeautifulSoup4 ...
6月1日 17:37 投稿
Webスクレイピングにおける逆方向解析と暗号化技術
Webスクレイピングの高度化手法と暗号化・復号化の実装
法令文書サイトの解析
navigator = {};
window = global;
Date.prototype.format = function (fmt) {
var o = {
"M+": this.getMonth() + 1,
"d+": this.getDate(),
"h+": this.getHours(),
"m+": this.getMinutes(),
" ...
5月27日 07:04 投稿
Scrapyシェルの利用とその詳細
Scrapyシェルは、クローラを起動せずにコードの一部を試したりデバッグしたりするためのインタラクティブなターミナルです。XPathやCSS式のテストにも役立ち、クローラ実行の手間を省きます。
Scrapyシェルは通常、標準Pythonターミナルを使用しますが、IPythonがインストールされている場合、優先的に使用されます。IPythonは自動補完やハイライト出力などの強化機能を ...
5月23日 03:02 投稿
ASP.NETページのデータスクレイピング：__doPostBackを利用したページネーション対応
最近、HTTPリクエストを模倣してデータをスクレイピングする必要がありましたが、対象サーバーはASP.NETで開発されていました。
ページネーションコントロールのコードは以下の通りです。
<tr>
<td align="left">合計 210 件のレコード -- 第 2 ページ -- 全  ...
5月20日 03:59 投稿