自然言語処理における単語埋め込み（Word Embedding）の基礎と主要アルゴリズム
単語の数値表現と従来手法の課題
自然言語処理（NLP）における根本的な課題は、コンピュータが解釈不可能な「文字」という情報を、どのように「数値」として表現するかという点にあります。初期の手法として広く用いられたのが、One-hot Encoding（ワンホットエンコーディング）やBag of Words（BoW）です。
One-hot Encodingは、語彙数と同じ次元を持つベクトルを作成し ...
10月9日 16:34 投稿
自然言語処理におけるテキスト表現手法の概要
テキストデータのコンピュータ表現
画像データがRGBやYUVなどの形式で表されるように、自然言語処理（NLP）では文字列をコンピュータで処理可能な数値形式に変換する必要があります。画像処理で扱うピクセル行列と同様に、テキストデータも行列形式で表現されます。
分かち書き処理
日本語などの連続文字言語では、文章を意味のある単位に分割する処理が必要です。最大マ ...
5月15日 13:51 投稿