本文へスキップ

Deepcrawl

活発
lumpinif/deepcrawl

公開 Web ページを AI エージェント向けのクリーンな Markdown とリンクツリーに変換する、オープンソースの Firecrawl 代替。API Worker と認証 Worker を含みます。

GitHub で見る
スター
702
フォーク
80
ウォッチ
702
未解決の Issue
2

この紹介文は現在英語版のみです。

Overview

Deepcrawl is an agent-oriented platform for extracting website context. It returns the cleaned Markdown of a page’s content, an agent-friendly hierarchical links tree and metadata that LLMs can digest with minimal tokens — reducing context switching and hallucination.

It is positioned as a free, open-source alternative to Firecrawl. The whole platform is open: a Next.js dashboard, API Workers, auth Workers and the database.

Scope

Deepcrawl is built for high-frequency agent workloads that read public pages. Its README states that it does not target anti-scraping or anti-bot use.

Status

The project is under rapid development, and its authors warn against using it in production yet. Documentation lives at deepcrawl.dev/docs.

共通のカテゴリとタグで順位付けした、似たオープンソースプロジェクトです。

すべての AI プロジェクト →