Sparkのソースコード解析: ジョブの生成と実行
一、概要
この記事では、wordCountを例にSparkがジョブを作成し実行するプロセスについて詳しく説明します。特に、プロセスとスレッドの作成に焦点を当てます。
二、実験環境の設定
以下の条件を満たしていることを確認してください。
Sparkバイナリ0.9.1をダウンロード
Scalaをインストール
sbtをインストール
Javaをインストール
三、spark-shellの起動
3.1 ローカルモ ...
9月30日 03:18 投稿
Kubernetes コントローラー - Job と CronJob
Job と CronJob
Deployment、StatefulSet、DaemonSet といったコントローラーは、主に常時稼働するアプリケーション（オンライン業務）の管理を目的としています。例として Nginx、MySQL などのアプリケーションを考えると、これらのアプリケーションは稼働後、エラー発生または停止を除き、常に実行状態（Running）にあります。
しかし、ある種のタスクはこの条件に適合 ...
8月12日 05:34 投稿