大規模言語モデルの仕組みと学習プロセス
大規模言語モデル（LLM）は、自然言語を理解・生成する能力を持つAIシステムであり、その動作原理は主に三つの段階から成り立っている：事前学習（Pretraining）、微調整（Fine-tuning）、および人間からのフィードバックに基づく強化学習（RLHF）。
文書補完モデル vs 対話型モデル
基本的なLLMは「文書補完器」として機能する。例えば、入力が「A banana is」であれば、 ...
5月28日 07:43 投稿
MindSpore NLPで実行するオープンソース音楽生成：MusicGenの活用ガイド
AIによる音楽生成は、近年特に注目を集める分野です。Suno AIのV3が話題を呼ぶ一方で、商用利用も可能な完全オープンなソリューションとして、Metaが開発したMusicGenがMindSpore NLPを通じて利用可能になりました。
MusicGenは、テキストプロンプトや既存のオーディオを条件として、高品質な音楽波形を直接生成できる単一Transformerベースのモデルです。MindSpore NLPで ...
5月17日 22:14 投稿
BERTを活用した大規模テキスト処理の実践的手法
はじめに
自然言語処理（NLP）分野において、Transformerベースの大規模言語モデルは革命的な進展をもたらしている。特にBERT（Bidirectional Encoder Representations from Transformers）は、その革新的な双方向アーキテクチャにより、質問応答から感情分析まで幅広いタスクで最先端の性能を達成している。本稿では、BERTの基本概念を体系的に解説するとともに、大規模テ ...
5月13日 21:24 投稿