大規模言語モデルの仕組みと学習プロセス

大規模言語モデル(LLM)は、自然言語を理解・生成する能力を持つAIシステムであり、その動作原理は主に三つの段階から成り立っている:事前学習(Pretraining)、微調整(Fine-tuning)、および人間からのフィードバックに基づく強化学習(RLHF)。 文書補完モデル vs 対話型モデル 基本的なLLMは「文書補完器」として機能する。例えば、入力が「A banana is」であれば、 ...

5月28日 07:43 投稿