Apache Flinkにおけるユニットテスト手法と実践例
Apache Flinkアプリケーションのテスト戦略について、ステートレス/ステートフル関数からジョブレベルのテストまで網羅的に解説する。
1. テスト環境のセットアップ
Maven依存関係の設定例:
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.12</artifactId>
<version>${flink.version}& ...
7月11日 20:04 投稿
PythonによるScrapyプロジェクト実践：当当ネットワークの商品データ取得（第2回）
アイテムを使用してデータをカプセル化
前回作成したスパイダーで取得した書籍情報はprint出力のみでした。今回はItemを使用してデータ構造を定義し、後続処理に渡せるようにします。まずitems.pyに以下のようなクラスを定義します：
import scrapy
class DangdangBookItem(scrapy.Item):
# 書籍画像URL
image_url = scrapy.Field()
# 書籍タイトル
boo ...
6月29日 20:52 投稿