Qwen2-7BモデルのローカルデプロイメントとAPI活用ガイド
はじめに
阿里巴巴の通義千問チームがQwen2シリーズのオープンソースモデルをリリースしました。このシリーズには、5つのサイズの事前学習・指令微調整モデルが含まれています：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14BおよびQwen2-72Bです。現在の最も優れたオープンソースモデルと比較すると、Qwen2-72Bは自然言語理解、知識、コード、数学、多言語を含む多く ...
7月17日 17:01 投稿
DeepSeek R1を活用したプライベート知識ベース構築手法
DeepSeek R1はその優れた推論チェーン処理能力で注目を集めていますが、Spring AIなどの主要フレームワークでは流式出力や思考過程の保持に制限があり、十分なサポートが提供されていません。deepseek4j 1.4では、ベクトルモデル対応など重要な機能拡張が実装されました。
設計思想
このライブラリは、DeepSeek APIの利用を簡素化し、Function CallingやJSONパース、Reaso ...
7月17日 16:30 投稿
ローカル大規模言語模型の実行環境構築：Ollama 活用ガイド
Ollama の概要
Ollama は、Go 言語で構築されたオープンソースのフレームワークであり、ユーザーが自身のマシン上で大規模言語模型（LLM）を容易に実行できるように設計されています。Windows、Linux、macOS といった主要なオペレーティングシステムに対応しており、シンプルなコマンド操作だけでモデルのデプロイから推論までが可能です。また、モデルの量子化（quantizat ...
7月15日 19:48 投稿
FreeBSDジャイル内でollamaを実行する：Ubuntu focal jammy環境でのセットアップ
ollamaのビルドとインストール手順については、以下の記事を参照してください：
FreeBSD上でollamaをインストールする試み - CSDNブログ
Ubuntu focal jammy環境とFreeBSDジャイルでのollamaのビルド・インストール方法 - CSDNブログ
実行手順：
./ollama run phi3
エラー：ollamaアプリに接続できませんでした。起動していますか？
エラーが発生しました。サービスを起 ...
7月10日 19:54 投稿
LLMファインチューニングからOllamaデプロイまでの実装フロー
LLaMA-Factoryを活用した言語モデルのカスタマイズから推論環境構築までの実践的手順を解説します。以下の手順で実施します。
環境構築
ネットワーク最適化後、リポジトリをクローンして依存関係をインストールします。
source /etc/network_accelerator
git clone --depth 1 https://github.com/hiyouga/LLaMA-Engine.git
cd LLaMA-Engine
pip install -e ".[torch,eval] ...
7月8日 23:10 投稿
LLM 推論におけるチャットテンプレートの整合性と実装上の注意点
大規模言語モデル（LLM）を実用環境に導入する際、モデルの推論結果が想定と異なる挙動を示すケースの多くは、チャットテンプレート（chat template）の不一致に起因します。これは、モデルの学習時・微調整時に用いられたトークン化形式と、推論時に実際に与えられるプロンプト構造が食い違っているために発生します。
典型的な障害事例と対応
コード補完ツールでの ...
6月21日 23:23 投稿
4GB以下の軽量モデルで実現する、スマートフォーム自動入力システム構築
非構造化テキストから構造データを抽出するAIワークフロー
日常の業務には、メールやチャットログ、PDF文書などに散在する情報を手作業でExcelやフォームに入力する作業が多く含まれます。このプロセスは時間と労力を消費し、ヒューマンエラーのリスクも高まります。本稿では、qwen2.5:4b-instruct-2507 という小型ながら高性能な言語モデルを活用し、自然言語からの情報抽 ...
6月21日 00:52 投稿
LangChain 框架下 RAG エージェントの実装と検索強化生成
RAG ワークフローの概要
本チュートリアルでは、LangChain を利用して検索拡張生成（RAG）システムを構築します。このプロセスは主に以下の 2 つのフェーズで構成されます。
インデキシング: ウェブソースから情報を抽出し、ベクトル化处理后にデータベースへ格納。
RAG 実行: ユーザーのクエリに対し、まずベクトルストアから関連情報を検索（Retrieve）、その結果を文脈 ...
6月20日 21:49 投稿
MoneyPrinterPlus、ローカルOllama大モデルを完全にサポート
MoneyPrinterPlusがバッチ混剪機能、ワンクリックAI動画生成、一括ショート動画公開機能をサポートしました。
以前サポートされていた大モデルはOpenAI、Azure、Kimi、Qianfan、Baichuan、Tongyi Qwen、DeepSeekなどの一般的なクラウドプロバイダーでした。
クラウドプロバイダーをサポートした理由は、現在の大モデルの利用コストが非常に安く、大手企業の安定性とパフォ ...
6月4日 21:32 投稿
FreeBSDでOllamaをインストールする方法
Ollamaは、ローカルで大規模言語モデル（LLM）を実行するためのオープンソースフレームワークです。これはさまざまなオペレーティングシステムをサポートしていますが、FreeBSDには対応していません。そのため、FreeBSD上でコンパイルしてインストールすることを試みました。
結論として、公式サイトのOllamaはコンパイルに失敗しましたが、カスタムバージョンを使用すれば ...
5月12日 21:50 投稿