異端開発室

1. urllibモジュールの概要 urllibはPythonに標準搭載されているHTTPクライアントパッケージであり、スクリプトからWebサーバーに対してリクエストを送信し、レスポンスを処理する基盤機能を提供します。Python 3環境では、HTTP通信の制御を担うurllib.requestと、URLの解析やエンコードを処理するurllib.parseが主要なサブモジュールとして利用されます。 2. 基礎的なHTM ...

Webスクレイピングの基本を学ぶために、シンプルな例として小説配信サイトからジャンル名を取得する方法を紹介します。この実装ではPython標準ライブラリのurllibとre（正規表現）を活用し、外部パッケージに依存せずに処理を行います。 まず、対象となるWebページの構造を確認します。ターゲットはトップページにある「全カテゴリー」メニュー内のジャンルリンクです。こ ...

新浪财经からの株価履歴データ取得 新浪财经のURL構造（例: http://market.finance.sina.com.cn/transHis.php?symbol=sz000001&date=2021-04-27&page=60）から株価データを取得します。日付と銘柄コードを入力し、全取引データをCSVに保存後、当日の最高値・最安値・平均値を計算します。 必要なライブラリ import requests import time from bs4 import Beautifu ...

HTML文書からテキストを効率的に抽出することは、Webスクレイピングやデータ処理において頻繁に必要な処理です。Java ecosystemでは、Jsoupライブラリを使用することで、複雑なHTML構造から目的のテキスト情報を بسهولةに取得できます。本稿では、Jsoupを活用したHTMLテキスト抽出と改行処理の実装方法について解説します。 Jsoupの概要と特徴 Jsoupは、JavaでHTML文書を ...

ソフトウェア工学の学習と対策 一、ソフトウェア工学の学習軸 ソフトウェア工学の学習および試験対策では以下の3つの要素を押さえる必要があります： 1.要件定義と設計 ユーザーの要件を正確に理解し、実装可能なソフトウェア設計に変換する方法。 主なポイント：UML図（ユースケース図、データフローディアグラム、状態遷移図、シーケンス図、クラス図など）の描画方法と ...

アイテムを使用してデータをカプセル化 前回作成したスパイダーで取得した書籍情報はprint出力のみでした。今回はItemを使用してデータ構造を定義し、後続処理に渡せるようにします。まずitems.pyに以下のようなクラスを定義します： import scrapy class DangdangBookItem(scrapy.Item): # 書籍画像URL image_url = scrapy.Field() # 書籍タイトル boo ...

1. 前提条件 学習者はPythonの基礎知識（数値型・文字列型・分岐・ループ・関数・リスト型・辞書型・ファイル操作・外部ライブラリ利用）を習得している必要があります。 2. Webスクレイピング基本プロセス HTTPリクエスト送信 requestsライブラリでターゲットサイトにリクエストを送信します。リクエストにはヘッダーとボディが含まれますが、JavaScript/CSS実行機能は ...

ファイル一覧の取得 import os def scan_directory(path): for folder, _, filenames in os.walk(path): for name in filenames: full_path = os.path.join(folder, name) print(full_path) # 使用例 scan_directory('/path/to/target') 周期的タスクの実行 import schedule import time def daily_backup(): print("バック ...

1. ワイルドカードの応用 記号 用途 * 任意の要素名を同階層でマッチ @* 任意の属性を同階層でマッチ node() ノードタイプに関係なく同階層でマッチ */ 複数階層の任意要素をマッチ // 任意階層の要素を圧縮的にマッチ ...

1. Beautiful Soupライブラリの導入 「美味しいスープ」の名で親しまれるBeautiful Soupは、HTMLやXML形式のデータを解析し、必要な情報を抽出するためのPythonサードパーティライブラリです。公式サイトは「https://www.crummy.com/software/BeautifulSoup/」です。 インストールはpipコマンドで行います。以下のコマンドを実行してください。 pip install BeautifulSoup4 ...