Apache Flinkのソースコードビルドと環境構築ガイド

ビルド環境の要件 Apache Flinkをソースコードから正常にビルドするには、JDK 8以降とMaven 3.2.5の組み合わせが推奨されます。Maven 3.3.x以降では依存関係のシェーディング(Shading)処理に不具合が生じる可能性があるため、3.2.5を使用することで安定したライブラリ生成が可能になります。また、PowerMockを利用したユニットテストを正しく実行するためには、Java 8以 ...

9月13日 03:27 投稿

リアルタイムニュース人気ランキングのFlink実装

Apache Flinkを用いたニュース記事のリアルタイム人気ランキング計算手法について解説します。5分間のスライディングウィンドウを1分間隔で分析し、クリック数上位N件のニュースを算出する処理を実装します。 import org.apache.flink.api.common.functions.AggregateFunction; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.a ...

5月31日 17:15 投稿