大規模言語モデル生成評価における ROUGE と BLEU メトリクス
1. 概要と必要性
生成AIアプリケーションの開発において、モデルやプロンプト、および外部知識ベースの最適化を進める過程では、定性的な感覚だけでなく定量的な評価基準が必要です。特に検索拡張生成（RAG）システムや要約タスクにおいて、現在のシステムが目標とする品質水準に到達しているかを判定するためのメトリクスは不可欠です。本記事では、自然言語処理分野で広 ...
8月4日 13:51 投稿
TextRankによるR言語でのキーワード抽出と文書要約
TextRankは、PageRankから派生したグラフベースの自然言語処理アルゴリズムであり、単語や文をノード、それらの共起・類似関係をエッジとして構築されたネットワーク上で反復的に重要度（スコア）を計算します。この手法は、TF-IDFとは異なり、文書内の局所的およびグローバルな構造情報を活用して、意味的に重要な単語や文を自動抽出します。
本実装では、中国語テキスト ...
8月1日 18:22 投稿