HDFS での一般的な Java API 操作
0 - Hadoop 環境の設定 (Windowsシステム)
以下の手順は Windows システムに適用されます。
Windows システムで Hadoop 関連のコードを直接実行すると、`winutils.exe` と `hadoop.dll` ファイルが不足しているというエラーが表示されることがあります。
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
WARN util.Nat ...
7月28日 00:23 投稿
Hadoop+Spark+Hiveを用いた小红書コメント感情分析システムの構築
小红書コメント感情分析システムの技術実装
1. 概要と背景
中国最大のソーシャルコマースプラットフォームである小红書は、1億以上のデイリーアクティブユーザーを持ち、毎日5000万以上のユーザー生成コンテンツ（UGC）が生成されています。商品コメントには、ユーザー、商品の実際の感情傾向が含まれており、ブランド側が製品の最適化とユーザー体験向上のための重要な ...
7月13日 19:37 投稿
HDFSの主要メカニズム：レプリケーション、ラック認識、負荷分散
HDFSのレプリケーションメカニズム
HDFSでは、ファイルは物理的にブロック単位で保存されます。ブロックサイズは`hdfs-site.xml`ファイル内の`dfs.block.size`パラメータで設定できます：
<!-- ブロックサイズ、単位：バイト -->
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
ブロッ ...
6月29日 20:25 投稿