意味的類似性マッチング：Embeddingの基礎と実践
意味的類似性マッチングの基礎
Embedding表現の深化
自然言語処理や大規模言語モデル（LLM）のアプリケーションにおいて、関連する「コンテキスト」を取得することは極めて重要です。このコンテキスト取得を実現する中核技術がEmbeddingであり、関連する情報をベクトル空間にマッピングし、その類似度を基に最適な情報を引き出すプロセスを「意味的類似性マッチング」と ...
8月3日 09:11 投稿
自然言語処理におけるテキストベクトル抽出の実用例
1. テキスト分類
テキスト分類では、機械学習モデルを用いてテキストをカテゴリに割り当てます。特徴ベクトル変換後、各種分類アルゴリズムを適用します。
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import SGDClassifier
text_samples = ["素晴らしい製品", "最悪のサービス", "満足のいく結果", "期待外れの体験"]
class ...
7月30日 20:56 投稿