Spark SQL高度活用ガイド:内部構造から最適化まで
単語カウントの実装例
Spark Core APIを使用した単語頻度カウントの実装方法を示します。
// SparkContextはSparkアプリケーションのエントリーポイント
val sourceData = sc.textFile("hdfs://data/sample.txt") // HDFSからテキストファイルを読み込み
val tokenized = sourceData.flatMap(sentence => sentence.split("\\s+")) // 各行を単語に分割
val paired = tok ...
8月4日 00:35 投稿
有向無環グラフにおける全経路探索:深さ優先探索による解法
問題概要
ソースからターゲットへの全経路探索という課題では、有向無環グラフ(DAG)において、ソースノード(通常はノード 0)からターゲットノード(通常は最後のノード)へのすべての可能な経路を列挙します。グラフは隣接リスト形式で表され、graph[i] はノード i から直接到達可能なノードのリストを示します。
入出力例
入力:
graph = [[1,2],[3],[3],[]]
出力:
...
5月21日 19:35 投稿