異端開発室

Hiveのパフォーマンスを向上させるためには、3つの主要な領域に焦点を当てることが重要です。この記事では、表設計、クエリ構文、Hiveアーキテクチャの最適化方法について解説します。 表設計の最適化 1.1 パーティショニングの活用 パーティションは特定のカラムに基づきデータを論理的に分割し、対応するディレクトリに格納します。パーティションカラムを条件にしたク ...

この記事では、HiveでJSON配列を解析する方法について詳しく解説します。アプリケーションのページ埋め込みデータなど、複数のフィールドがJSON配列として保存されるケースはよくあります。データプラットフォームでこれらの埋め込みデータを解析する必要がある場合、HiveのJSON解析機能を理解しておくことが重要です。 Hiveの組み込みJSON解析関数 1. get_json_object 構 ...

Ubuntu 22.04 環境の初期設定 まず、Ubuntu 22.04 をインストールし、root ユーザーで作業を開始します。 export LANG=C.UTF-8 echo "root:111111" | chpasswd -m apt update apt install -y openssh-server iproute2 ufw ssh-keygen -t rsa -f /root/.ssh/id_rsa -N '' sed -i 's/#PasswordAuthentication yes/PasswordAuthentication yes/' /etc/ssh/sshd_config sed -i ...

前提環境の構築サーバーの基本設定Hadoopクラスターは3台構成で構築する。各ノードのホスト名は以下のように定義する。node-master (マスターノード)node-worker1 (ワーカーノード1)node-worker2 (ワーカーノード2)まず、マスターノードとなるサーバー側で基本設定を行う。1. ホスト名の変更以下のコマンドを実行し、ホスト名を変更する。vim /etc/hostname # 内容を node- ...

HiveはHadoop上に構築されたデータウェアハウスシステムであり、構造化データファイルをデータベーステーブルにマッピングし、SQLクエリをMapReduceジョブに変換して実行する。SQLに似たクエリ言語（HiveQL）を提供し、MapReduceに不慣れなユーザーでもデータの集計・分析が行える。ただし、OLTPやリアルタイムクエリには不向きで、大規模な不変データのバッチ処理に最適で ...

MySQLのインストール MySQLをインストールする前に、MariaDBとの競合を避けるため、既にインストールされているMariaDBをアンインストールする必要があります。 // MariaDBがインストールされているか確認 rpm -qa | grep mariadb // MariaDBを強制的にアンインストール rpm -e --nodeps mariadb-libs 次に、MySQLのRPMパッケージをインストールします。まず、配布ファイ ...

技術的背景と対応方法 Hiveテーブルを作成する際、メンテナンスを容易にするために、各フィールドやテーブルに中国語のコメントを追加することが一般的です。以下はその一例です。 CREATE EXTERNAL TABLE `example_table`( col_id STRING COMMENT '識別番号', type_code INT COMMENT 'タイプ') COMMENT 'テスト用テーブル' PARTITIONED BY ( partition_day IN ...

Hive 2.3 および Hadoop 2.7 構成環境において、コマンド実行時に予期せぬ例外が発生する事象について解説します。特に Sqoop を経由して Hive へのデータ取り込みを試みた際、Facebook Thrift サービス関連のメソッドが見つからないというエラーが観測されました。 エラー現象の確認 Hive CLI または Sqoop ジョブ実行時に、コンソール出力に以下のスタックトレースが記 ...

Ambroseは、データ処理ワークフローのリアルタイム可視化と監視に特化した強力なオープンソースプラットフォームです。データエンジニア、アナリスト、開発者は、このツールを利用してデータワークフローの実行状態を簡単に追跡し、ボトルネックを特定し、パフォーマンスを最適化できます。大規模データ処理プロジェクトにおいて不可欠な監視ツールです。 Ambroseとは？ Am ...

Hive分散クラスターの構築方法 一、Hiveコンポーネントのインストール 1. 環境準備（CentOS仮想マシンとHiveインストールパッケージ） ここではコミュニティ版を使用します：community ダウンロード後、HiveコンポーネントパッケージをCentOS仮想マシンにアップロードし、llコマンドでアップロードの成功を確認します。 アップロード成功後、最も重要なステップはインスト ...