QwenVLおよびKimiVLなどのマルチモーダルアルゴリズムの原理
マルチモーダル大規模言語モデルの一般的なフレームワークと、各モジュールにおける実装方法について解説します。画像や動画などの視覚情報は、ViT (Vision Transformer) や CLIP などの異なるビジョンエンコーダーでエンコードされ、テキスト情報はエンコーダーでエンコードされます。その後、視覚モーダル情報はマッピング層 (Q-Former や MLP など) を通して次元が揃え ...
6月9日 18:57 投稿
LangChain RAG実装におけるデータ読み込みとチャンク分割の要点
1. 外部データの取得とRAGの役割
LLMの学習データに含まれない独自の外部知識を活用するためには、検索拡張生成（RAG）が不可欠です。RAGのプロセスでは、外部から情報を取得し、それをプロンプトに組み込んで回答生成を行います。この仕組みの中核をなすのがドキュメントの読み込みと分割処理です。
2. Document Loadersによるデータ取り込み
LangChainは、 ...
6月6日 21:22 投稿
Quivrにおけるパフォーマンスとリソース効率の最適化：タイムアウト設定の戦略的アプローチ
分散システムや大規模なデータ処理基盤において、タイムアウト設定は単なるエラーハンドリングではなく、システム全体の健全性を維持するための重要な制御メカニズムです。本記事では、Quivr環境における多層的なタイムアウト構成について技術的に解説し、計算リソースの保護とユーザー体験（UX）の向上を両立させるための実装ガイドラインを提示します。
タイムアウト設 ...
6月4日 23:03 投稿
大規模言語モデルの仕組みと学習プロセス
大規模言語モデル（LLM）は、自然言語を理解・生成する能力を持つAIシステムであり、その動作原理は主に三つの段階から成り立っている：事前学習（Pretraining）、微調整（Fine-tuning）、および人間からのフィードバックに基づく強化学習（RLHF）。
文書補完モデル vs 対話型モデル
基本的なLLMは「文書補完器」として機能する。例えば、入力が「A banana is」であれば、 ...
5月28日 07:43 投稿
プロンプトエンジニアリング：AI対話における最適化手法
プロンプトエンジニアリングとは、大規模言語モデル（LLM）に対して的確な指示を与え、望ましい出力を引き出すための設計手法です。LLMは非常に強力なツールですが、曖昧な指示には曖昧な回答で応じる傾向があるため、対話の精度を高めるためには、意図を明確にする技術が不可欠となります。
主要なプロンプトテクニック
LLMの能力を最大限に引き出すための代表的 ...
5月23日 04:06 投稿
LangChainによるLLMアプリケーション開発の基礎と実践ガイド
LangChainの概要
LangChainは、大規模言語モデル（LLM）を活用したアプリケーションを効率的に構築するためのオープンソースフレームワークです。単なるAPI呼び出しにとどまらず、複数のコンポーネントを組み合わせた複雑なワークフロー、外部データとの連携、エージェントによる自律的なタスク実行などを容易に実現します。
LangChainのエコシステムは、以下のフェーズを ...
5月18日 22:03 投稿
FreeBSDでOllamaをインストールする方法
Ollamaは、ローカルで大規模言語モデル（LLM）を実行するためのオープンソースフレームワークです。これはさまざまなオペレーティングシステムをサポートしていますが、FreeBSDには対応していません。そのため、FreeBSD上でコンパイルしてインストールすることを試みました。
結論として、公式サイトのOllamaはコンパイルに失敗しましたが、カスタムバージョンを使用すれば ...
5月12日 21:50 投稿
Ubuntu環境でのRAGFlowのソースコードによる起動方法
一、RAGFlowとは？
RAGFlowは、深層ドキュメント理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンです。RAGFlowは、企業や個人向けに簡潔なRAGワークフローを提供し、大規模言語モデル（LLM）と組み合わせることで、ユーザーの様々な複雑な形式のデータに対して信頼性の高いQ&Aと根拠のある参照を提供します。
二、RAGFlowのアーキテクチ ...
5月9日 23:30 投稿