arc53/DocsGPT

⭐ 5,089 🍴 830 Python (バックエンド), TypeScript/React (フロントエンド)📄 MIT License GitHubで見る →

主な特徴

**多様なドキュメント形式のサポート**: PDF、Office文書、Markdown、HTML、画像など20以上の形式に対応
**高度なRAGシステム**: 複数の検索戦略とベクトルストアオプション
**エージェントシステム**: Classic AgentsとReActエージェントによる高度な推論と実行
**豊富な統合ツール**: API、データベース、Web検索、通知システムなど
**マルチLLMプロバイダー対応**: OpenAI、Anthropic、Google AI、ローカルモデル（Ollama）
**エンタープライズ対応**: Kubernetes、APIキー管理、JWT認証
**多言語対応**: 日本語を含む複数言語のUIサポート
**ストリーミング応答**: リアルタイムでの回答生成
**ソース引用**: 回答の根拠となる情報源を明示
**Webhook統合**: 自動化とワークフロー統合

リポジトリ解析: arc53/DocsGPT

基本情報

リポジトリ名: arc53/DocsGPT
主要言語: Python (バックエンド), TypeScript/React (フロントエンド)
スター数: 5,089
フォーク数: 830
最終更新: 活発に更新中（v0.8.x）
ライセンス: MIT License
トピックス: RAG、LLM、ドキュメントQA、AI、ナレッジマネジメント、オープンソース

概要

一言で言うと

DocsGPTは、ドキュメントベースの質問応答を可能にするオープンソースのRAG（Retrieval-Augmented Generation）アシスタントで、ハルシネーションを防ぎながら信頼性の高い回答を提供します。

詳細説明

DocsGPTは、大規模言語モデル（LLM）の能力を活用しながら、その弱点であるハルシネーション（事実と異なる情報の生成）を防ぐために設計された包括的なgenAIツールです。ユーザーがアップロードしたドキュメントや指定されたデータソースから情報を検索し、それに基づいた正確な回答を生成します。

システムは、単なるQ&Aツールを超えて、エージェントシステムとツール統合により、実際のアクションを実行できる「実行可能なAI」として機能します。企業の内部ドキュメント管理、カスタマーサポート、開発者向けドキュメンテーション、研究支援など、幅広い用途に対応できる柔軟性を持っています。

主な特徴

多様なドキュメント形式のサポート: PDF、Office文書、Markdown、HTML、画像など20以上の形式に対応
高度なRAGシステム: 複数の検索戦略とベクトルストアオプション
エージェントシステム: Classic AgentsとReActエージェントによる高度な推論と実行
豊富な統合ツール: API、データベース、Web検索、通知システムなど
マルチLLMプロバイダー対応: OpenAI、Anthropic、Google AI、ローカルモデル（Ollama）
エンタープライズ対応: Kubernetes、APIキー管理、JWT認証
多言語対応: 日本語を含む複数言語のUIサポート
ストリーミング応答: リアルタイムでの回答生成
ソース引用: 回答の根拠となる情報源を明示
Webhook統合: 自動化とワークフロー統合

使用方法

インストール

前提条件

Docker Desktop 4.0以上（推奨）
Node.js 18以上（フロントエンド開発時）
Python 3.9以上（バックエンド開発時）
4GB以上のRAM（8GB推奨）
10GB以上の空きディスク容量

インストール手順

# 方法1: 自動セットアップスクリプト（推奨）
git clone https://github.com/arc53/DocsGPT.git
cd DocsGPT

# Linux/macOS
./setup.sh

# Windows PowerShell
PowerShell -ExecutionPolicy Bypass -File .\setup.ps1

# 方法2: Docker Composeを使用した手動セットアップ
docker compose up -d

# 方法3: 開発環境セットアップ
# バックエンド
cd backend
pip install -r requirements.txt
python app.py

# フロントエンド（別ターミナル）
cd frontend
npm install
npm run dev

基本的な使い方

Hello World相当の例

# REST APIを使用した基本的な質問応答
import requests

# DocsGPTのAPIエンドポイント
api_url = "http://localhost:7091/api/answer"

# 質問リクエスト
response = requests.post(api_url, json={
    "question": "What is DocsGPT?",
    "history": [],
    "api_key": "your-api-key",
    "retriever": "classic"
})

print(response.json()["answer"])

実践的な使用例

# ドキュメントをアップロードして質問する
import requests

# 1. ドキュメントのアップロード
with open('user_manual.pdf', 'rb') as f:
    files = {'file': f}
    upload_response = requests.post(
        'http://localhost:7091/api/upload',
        files=files,
        data={'name': 'user_manual'}
    )
    
# 2. アップロードしたドキュメントに対して質問
question_data = {
    "question": "How do I configure the system?",
    "history": [],
    "api_key": "your-api-key",
    "retriever": "classic",
    "conversation_id": upload_response.json()['conversation_id']
}

response = requests.post(
    'http://localhost:7091/api/answer',
    json=question_data
)

print(f"Answer: {response.json()['answer']}")
print(f"Sources: {response.json()['sources']}")

高度な使い方

# エージェントとツールを使用した高度な例
import requests
import json

# 1. エージェントの作成
agent_config = {
    "name": "Research Assistant",
    "type": "react",  # ReActエージェント
    "tools": [
        {
            "type": "brave_search",
            "config": {"api_key": "brave-api-key"}
        },
        {
            "type": "api_tool",
            "config": {
                "endpoint": "https://api.example.com/data",
                "method": "GET"
            }
        }
    ],
    "prompt": "You are a helpful research assistant."
}

# エージェントを作成
agent_response = requests.post(
    'http://localhost:7091/api/agents',
    json=agent_config,
    headers={'Authorization': 'Bearer your-api-key'}
)

agent_id = agent_response.json()['agent_id']

# 2. エージェントを使用した複雑なタスクの実行
task_request = {
    "agent_id": agent_id,
    "task": "Research the latest trends in AI and summarize the findings",
    "use_tools": True,
    "stream": True
}

# ストリーミング応答を処理
with requests.post(
    'http://localhost:7091/api/agent/execute',
    json=task_request,
    stream=True
) as response:
    for line in response.iter_lines():
        if line:
            data = json.loads(line.decode('utf-8'))
            print(data['content'], end='', flush=True)

ドキュメント・リソース

公式ドキュメント

README.md: プロジェクト概要、基本的なセットアップ手順、主要機能の説明
docs/: 詳細なドキュメントディレクトリ
- DEVELOPER.md: 開発者向けガイド、アーキテクチャ詳細
- SELFHOST.md: セルフホスティングガイド
- CONTRIBUTING.md: コントリビューションガイドライン
公式ドキュメントサイト: https://docs.docsgpt.co.uk/ - 包括的なユーザーガイドとAPIリファレンス
Wiki: GitHubリポジトリのWikiセクション - トラブルシューティングとFAQ

サンプル・デモ

extensions/: ブラウザ拡張機能とウィジェットの実装例
- chrome-extension/: Chrome拡張機能のソースコード
- react-widget/: React組み込みウィジェットの実装
- web-widget/: 汎用Webウィジェットの実装
scripts/: 各種セットアップとデプロイメントスクリプト
- setup.sh: Linux/macOS向け自動セットアップ
- setup.ps1: Windows向け自動セットアップ
- auto_scripts/: 自動化スクリプト集
オンラインデモ: https://docsgpt.co.uk/ - フル機能のライブデモ

チュートリアル・ガイド

クイックスタートガイド: README.mdの「Quick Start」セクション
ビデオチュートリアル: YouTubeチャンネルでのセットアップとデモ
APIドキュメント: Swagger UIによるインタラクティブAPIドキュメント（http://localhost:7091/api/docs）
コミュニティDiscord: リアルタイムサポートとディスカッション
GitHubディスカッション: 技術的な質問とベストプラクティスの共有

技術的詳細

アーキテクチャ

全体構造

DocsGPTは、マイクロサービスアーキテクチャを採用した分散システムです。フロントエンドのReactアプリケーション、バックエンドのFlask APIサーバー、非同期タスク処理のCeleryワーカー、データストレージのMongoDB、キャッシングとメッセージブローカーのRedis、そしてセマンティック検索のためのベクトルストアで構成されています。

システムは、RAG（Retrieval-Augmented Generation）パターンを実装し、ユーザーの質問に対して関連するドキュメントチャンクを検索し、それらをコンテキストとしてLLMに提供することで、正確で根拠のある回答を生成します。

ディレクトリ構成

DocsGPT/
├── application/      # バックエンドアプリケーション
│   ├── api/         # REST APIエンドポイント
│   ├── core/        # コアビジネスロジック
│   ├── llm/         # LLMプロバイダー統合
│   ├── parser/      # ドキュメントパーサー
│   ├── retriever/   # 検索・取得ロジック
│   ├── tools/       # エージェント用ツール
│   └── worker.py    # Celeryワーカー
├── frontend/         # Reactフロントエンド
│   ├── src/         # ソースコード
│   ├── public/      # 静的ファイル
│   └── dist/        # ビルド成果物
├── extensions/       # 拡張機能
│   ├── chrome-extension/
│   ├── react-widget/
│   └── web-widget/
├── scripts/          # セットアップ・デプロイスクリプト
├── docs/            # ドキュメント
└── tests/           # テストスイート

主要コンポーネント

APIサーバー: RESTful APIの提供とリクエスト処理
- 場所: application/api/
- 依存: Flask、Flask-RESTX、LangChain
- インターフェース: /api/answer, /api/upload, /stream等
ドキュメントプロセッサー: 各種ファイル形式の解析と処理
- 場所: application/parser/
- 依存: LangChain Document Loaders
- 対応形式: PDF、DOCX、CSV、XLSX、MD、HTML等
Retriever: ベクトル検索と情報取得
- 場所: application/retriever/
- 依存: 選択されたベクトルストア（FAISS、Qdrant等）
- 主要メソッド: search(), get_relevant_documents()
LLMマネージャー: 複数のLLMプロバイダーの統一インターフェース
- 場所: application/llm/
- 依存: OpenAI、Anthropic、Google AI SDK
- 主要クラス: LLMCreator, BaseLLM
エージェントシステム: 高度な推論と実行
- 場所: application/core/agents/
- タイプ: Classic Agent、ReAct Agent
- ツール統合: API Tool、Search Tool、DB Tool等

技術スタック

コア技術

言語:
- Python 3.9+ (型ヒント、async/await、データクラス)
- TypeScript 5.x (React 19のサポート)
フレームワーク:
- Flask + Flask-RESTX (RESTful API)
- React 19 + Vite (モダンなフロントエンド)
- LangChain (LLMオーケストレーション)
主要ライブラリ:
- Celery (4.4.x): 非同期タスク処理
- Redis (7.x): キャッシング、メッセージブローカー
- MongoDB (5.x): ドキュメントストレージ
- PyMongo: MongoDBクライアント
- tiktoken: トークンカウント
- sentence-transformers: テキスト埋め込み
- Redux Toolkit: 状態管理
- Tailwind CSS: UIスタイリング
- i18next: 国際化対応

開発・運用ツール

ビルドツール:
- Vite (フロントエンドビルド、高速HMR)
- Docker/Docker Compose (コンテナ化)
テスト:
- pytest (バックエンドユニットテスト)
- Jest (フロントエンドテスト)
- テストカバレッジ目標: 80%以上
CI/CD:
- GitHub Actions (自動テスト、ビルド)
- Docker Hub自動ビルド
- セマンティックバージョニング
デプロイ:
- Docker Compose (ローカル/小規模)
- Kubernetes (エンタープライズ)
- クラウドプラットフォーム対応 (AWS、GCP、Azure)

設計パターン・手法

RAGパターン: ドキュメント検索と生成の組み合わせ
マイクロサービスアーキテクチャ: サービス間の疎結合
リポジトリパターン: データアクセスの抽象化
ファクトリーパターン: LLMプロバイダーの動的生成
ストラテジーパターン: 検索戦略の切り替え
パイプラインパターン: ドキュメント処理フロー
ReActパターン: エージェントの推論と実行ループ

データフロー・処理フロー

ドキュメントインジェストフロー:
- ファイルアップロード → パーサー選択 → テキスト抽出
- チャンキング → エンベディング生成 → ベクトルストア保存
- メタデータ抽出 → MongoDBへの保存
質問応答フロー:
- ユーザー質問 → 質問エンベディング生成
- ベクトル検索 → 関連チャンク取得
- プロンプト構築 → LLM呼び出し
- 回答生成 → ソース引用追加 → レスポンス返却
エージェント実行フロー:
- タスク受信 → 計画生成 (Thought)
- ツール選択 (Action) → ツール実行
- 結果観察 (Observation) → 次のステップ決定
- 最終回答生成 → ユーザーへの返却

API・インターフェース

公開API

REST API

目的: プログラマティックなアクセスとサードパーティ統合
主要エンドポイント:

# POST /api/answer - 質問応答
request_body = {
    "question": "What is the main feature?",
    "history": [{"question": "...", "answer": "..."}],
    "conversation_id": "uuid",
    "retriever": "classic",
    "api_key": "your-key"
}

# POST /api/upload - ドキュメントアップロード
# Multipart form-dataでファイルを送信

# GET /stream - ストリーミング応答
# Server-Sent Eventsでリアルタイム応答

# POST /api/agents - エージェント作成
agent_config = {
    "name": "My Agent",
    "type": "react",
    "tools": ["brave_search", "api_tool"],
    "prompt": "Custom instructions"
}

設定・カスタマイズ

設定ファイル

# .env ファイルの主要設定
LLM_NAME=openai  # 使用するLLMプロバイダー
OPENAI_API_KEY=sk-...  # OpenAI APIキー
VECTOR_STORE=faiss  # ベクトルストアの選択
MONGO_URI=mongodb://localhost:27017/  # MongoDB接続
REDIS_URL=redis://localhost:6379/0  # Redis接続

# エージェント設定
ENABLE_AGENTS=true
AGENT_TIMEOUT=300  # エージェントタイムアウト（秒）

# セキュリティ設定
API_KEY_ENABLED=true
JWT_SECRET=your-secret-key

拡張・カスタマイズ開発

カスタムパーサーの追加:

# application/parser/custom_parser.py
from application.parser.base import BaseParser

class CustomParser(BaseParser):
    def parse(self, file_path):
        # カスタム解析ロジック
        return parsed_content

新しいツールの作成:

# application/tools/custom_tool.py
from application.tools.base import BaseTool

class CustomTool(BaseTool):
    def execute(self, query: str) -> str:
        # ツールの実行ロジック
        return result

LLMプロバイダーの追加:

# application/llm/custom_llm.py
from application.llm.base import BaseLLM

class CustomLLM(BaseLLM):
    def generate(self, prompt: str) -> str:
        # カスタムLLM呼び出し
        return response

パフォーマンス・スケーラビリティ

パフォーマンス特性

ベンチマーク結果:
- 平均応答時間: 2-5秒（キャッシュヒット時: <1秒）
- 同時接続数: 最大1000接続（デフォルト設定）
- ドキュメント処理速度: 10MB PDFを約30秒で処理
最適化手法:
- Redisによる応答キャッシング
- ベクトル検索の最適化（HNSW、IVF）
- チャンクサイズの動的調整
- 非同期処理によるスループット向上
- ストリーミング応答による体感速度改善

スケーラビリティ

水平スケーリング:
- Kubernetesによるポッドの自動スケーリング
- ロードバランサーによる負荷分散
- Celeryワーカーの動的追加
データスケーラビリティ:
- MongoDBシャーディング対応
- 分散ベクトルストア（Milvus、Weaviate）
- S3互換ストレージでの大容量ファイル管理
エンタープライズ対応:
- マルチテナント対応
- APIレート制限
- リソースクォータ管理

制限事項

技術的な制限:
- 単一ファイルサイズ上限: 150MB（デフォルト）
- チャンクサイズ: 最大2000トークン
- 会話履歴: 最大20ターン保持
- 同時アップロード数: 10ファイルまで
運用上の制限:
- LLMプロバイダーのAPIレート制限
- ベクトルストアのメモリ使用量
- 大規模データセットでの検索速度低下
- 言語モデルのコンテキストウィンドウ制限

評価・所感

技術的評価

強み

オープンソースで完全にカスタマイズ可能
豊富なドキュメント形式のサポート
複数のLLMプロバイダーとローカルモデル対応
エンタープライズ向けのセキュリティ機能
アクティブなコミュニティと継続的な開発
日本語を含む多言語対応
プライバシー重視（オンプレミス展開可能）

改善の余地

より高度なRAG手法（HyDE、Self-RAG）の実装
ファインチューニング機能の追加
より詳細なアナリティクスとモニタリング
グラフRAGなど新しい検索手法のサポート
モバイルアプリの開発

向いている用途

企業の内部ナレッジベース構築
技術ドキュメントの対話型検索システム
カスタマーサポートの自動化
研究論文や法的文書の分析ツール
教育機関での学習支援システム
コンプライアンス文書の管理と検索

向いていない用途

リアルタイムストリーミングデータの処理
構造化データベースのみの検索（SQLが適切）
画像や動画の詳細な分析が主な用途
極めて低レイテンシが要求されるシステム
ドキュメントベースでない純粋なチャットボット

総評

DocsGPTは、RAGシステムの実装において最も完成度の高いオープンソースプロジェクトの一つです。単なるドキュメントQ&Aツールを超えて、エージェントシステムとツール統合により、実用的なAIアシスタントとして機能します。

特筆すべきは、エンタープライズ向けの機能（認証、APIキー管理、Kubernetes対応）が充実している点と、日本語を含む多言語対応、そして活発なコミュニティによる継続的な改善です。セットアップの容易さと豊富なカスタマイズオプションのバランスも優れています。

一方で、最新のRAG手法（グラフRAG、Self-RAG）への対応や、より高度な分析機能の実装には改善の余地があります。しかし、プライバシーを重視したオンプレミス展開が可能で、複数のLLMプロバイダーに対応している点は、多くの組織にとって大きな魅力となるでしょう。

総合的に、組織のナレッジマネジメントシステムや、ドキュメントベースのAIアシスタントを構築する際の第一選択肢として推奨できるプロジェクトです。