Python Requestsライブラリのインストールと基本的な使い方
PythonにはHTTP通信を行うための標準ライブラリであるurllibのほか、より使いやすいサードパーティ製ライブラリとしてrequestsが広く利用されています。requestsは「HTTP for Humans（人間のためのHTTP）」をコンセプトに開発されており、直感的で簡潔なインターフェースを提供します。
インストール方法
requestsはpipを使って簡単にインストールできます：
python -m pi ...
7月5日 19:16 投稿
httprunner風APIテストフレームワークの拡張実装
YAMLデータファイル形式
設定とテストステップを定義するYAML構造:
config:
name: 'テストケース'
request:
timeout: 30
headers:
x-test: abc123
variables:
client_id: kPoFYw85FXsnojsy5bB9hu6x
tests:
- name: 認証トークン取得
request:
url: https://aip.baidubce.com/oauth/2.0/token
params:
grant_type: cli ...
7月2日 16:32 投稿
PythonによるWebスクレイピング実践：4つの代表的なユースケース
1. Eコマースサイトの商品情報取得
例えば、中国の主要ECプラットフォーム「JD.com」の特定商品ページ（例：一加9Rスマートフォン）を対象に、HTTPリクエストによるHTMLコンテンツの取得を試みます。URLはhttps://item.jd.com/100020542894.htmlです。
まずrobots.txtを確認します：https://item.jd.com/robots.txt。実際の内容は次のような形式で、Googlebotなど特定のク ...
6月13日 22:30 投稿
PythonによるWebスクレイピング入門
1. 前提条件
学習者はPythonの基礎知識（数値型・文字列型・分岐・ループ・関数・リスト型・辞書型・ファイル操作・外部ライブラリ利用）を習得している必要があります。
2. Webスクレイピング基本プロセス
HTTPリクエスト送信
requestsライブラリでターゲットサイトにリクエストを送信します。リクエストにはヘッダーとボディが含まれますが、JavaScript/CSS実行機能は ...
6月12日 00:41 投稿
Python Requests モジュールによる Web スクレイピング入門
Python Requests モジュールによる Web スクレイピング入門
Python において HTTP リクエストを送信するための標準的なライブラリとして、requests モジュールが広く利用されています。本記事では、requests の基本的な使い方から、実践的なデータ収集の手法、およびよくある問題の解決策について解説します。
環境構築とインストール
開発環境として Anaconda を利用す ...
6月7日 16:34 投稿
ExcelベースのAPIテストフレームワークの設計と進化
Excelファイルを用いたAPIテストフレームワークの実装アプローチを、バージョンアップごとに紹介する。各バージョンでは機能拡張や設計改善が行われており、最終的にはPytestと統合された柔軟なテストシステムへと発展している。
基本データフォーマット（schema1）
テストケースはExcelファイル（例: data.xlsx）に以下の列で定義される：
name: テストケース名
met ...
5月30日 02:34 投稿
PythonのRequestsライブラリ徹底解説
特徴
接続プールとKeep-Alive機能
国際化ドメインおよびURLサポート
持続的なCookieセッション
ブラウザスタイルSSL認証
自動コンテンツデコード
基本/摘要認証
ユニークなキー/値形式のCookie管理
自動圧縮解除
Unicode対応のレスポンスボディ
HTTP(S)プロキシサポート
ファイルチャンクアップロード
ストリームダウンロード
接続タイムアウト設定
チャンクリクエスト
. ...
5月26日 22:43 投稿
HLS配信からのM3U8プレイリスト抽出とTSセグメント結合の実装
動画配信プラットフォームからストリーミングデータを取得する場合、多くのサービスはHLS（HTTP Live Streaming）規格を採用しており、.m3u8プレイリストと.tsセグメントファイルの組み合わせで構成されています。本記事では、対象APIへのリクエスト構造を解析し、プレイリストの抽出からセグメントの結合までをPythonで実装する手順を解説します。
1. メタデータAPIへのリ ...
5月24日 22:13 投稿
Pythonによるブログアーカイブの自動化 — ウェブスクレイピングからExcel・Word出力まで
ソフトウェアエンジニアリングの履修課題として、ウェブ上からブログ記事を収集し、書式化されたドキュメントとして保存する処理を実装する機会は珍しくない。本稿では、Pythonを用いたスクレイピング技術に加え、ExcelおよびWord文書の自動生成方法について解説する。
開発環境の構築
本実装で使用する主要なライブラリは以下の通りである。requestsはHTTPリクエストの ...
5月21日 17:33 投稿
PythonによるWebスクレイピング：動画収集のシングルスレッドとマルチスレッド実装
スクレイピング対象の分析と実装方針
Webサイトから動画コンテンツを収集するPythonスクリプトを実装します。対象サイトの構造変化に対応するため、リクエスト例外処理を強化しています。
シングルスレッド版実装
# coding: utf-8
import re
import requests
import hashlib
import time
import os
REQUEST_HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0 ...
5月18日 05:50 投稿