異端開発室

Webサイトへの自動ログインやスクレイピングを行う際、ログインフォームに画像認証コード（CAPTCHA）が要求されるケースが多いです。社内システムのテストであれば、開発チームに検証用の固定コードを発行してもらうことも可能ですが、外部サイトでは自前で画像を認識する必要があります。 そのような場面で有効なのが、画像認識をクラウドで提供するサービスを利用する方 ...

テキストの取得と文字化けの原因 Python の requests ライブラリは、HTTP リクエストの実行とレスポンス処理を簡潔に記述できることから広く利用されています。しかし、日本語や中国語などの複数バイト文字を含むウェブページを取得する際、r.text で正しく表示されず、文字化けが発生するケースがよくあります。 requests は内部で以下のことを自動的に処理します： r ...

チケット購入APIの処理フロー チケット購入APIの設計は要件によって異なります。以下に基本的な購入フローの例を示します： ユーザーが指定日時・座席のチケット情報を問い合わせる リクエストパラメータ（日付、会場、枚数、割引コード等）を取得 バックエンドデータベースから該当チケット情報を検索 チケット情報と注文詳細をユーザーに返却 注文リクエストがあれば、 ...

HTTP リクエストライブラリの比較と選定 Python において Web クローリングや HTTP 通信を行う場合、標準ライブラリからサードパーティ製の強力なライブラリまで、複数の選択肢が存在します。主に urllib、urllib2、requests、そしてフレームワークである Scrapy が挙げられます。それぞれの特性を理解し、目的に応じて使い分けることが重要です。 urllib と urllib2 の違 ...

ウェブスクレイピングに役立つPythonライブラリ 代表的なライブラリ requests: HTTPリクエストを送信するためのライブラリ selenium: ブラウザを自動化するためのツール lxml: 高速なXML/HTMLパーサー BeautifulSoup: HTML/XML解析ライブラリ pyquery: jQueryライクな文法でHTMLを操作できるライブラリ pymysql: MySQLデータベース接続用ライブラリ pymongo: MongoDB操作 ...

データ取得：統計局APIへのアクセス 国家統計局の「EasyQuery」インターフェースは JSON 形式で構造化データを返却するため、requests を使って簡単に取得できる。アクセス制限を避けるため、1 回取得したらローカルにキャッシュし、連続アクセスは避ける。 import requests, re, json, time BASE = "https://data.stats.gov.cn/easyquery.htm" QUERY = { "m": "Quer ...

PythonにはHTTP通信を行うための標準ライブラリであるurllibのほか、より使いやすいサードパーティ製ライブラリとしてrequestsが広く利用されています。requestsは「HTTP for Humans（人間のためのHTTP）」をコンセプトに開発されており、直感的で簡潔なインターフェースを提供します。 インストール方法 requestsはpipを使って簡単にインストールできます： python -m pi ...

YAMLデータファイル形式 設定とテストステップを定義するYAML構造: config: name: 'テストケース' request: timeout: 30 headers: x-test: abc123 variables: client_id: kPoFYw85FXsnojsy5bB9hu6x tests: - name: 認証トークン取得 request: url: https://aip.baidubce.com/oauth/2.0/token params: grant_type: cli ...

1. Eコマースサイトの商品情報取得 例えば、中国の主要ECプラットフォーム「JD.com」の特定商品ページ（例：一加9Rスマートフォン）を対象に、HTTPリクエストによるHTMLコンテンツの取得を試みます。URLはhttps://item.jd.com/100020542894.htmlです。 まずrobots.txtを確認します：https://item.jd.com/robots.txt。実際の内容は次のような形式で、Googlebotなど特定のク ...

1. 前提条件 学習者はPythonの基礎知識（数値型・文字列型・分岐・ループ・関数・リスト型・辞書型・ファイル操作・外部ライブラリ利用）を習得している必要があります。 2. Webスクレイピング基本プロセス HTTPリクエスト送信 requestsライブラリでターゲットサイトにリクエストを送信します。リクエストにはヘッダーとボディが含まれますが、JavaScript/CSS実行機能は ...