Jede RAG‑Pipeline gerät an dieselbe Frage: Handelt es sich bei diesem PDF um echten Text oder um einen Scan? Liegt man falsch, verbrennt man entweder GPU‑Zyklen damit, Klartext zu OCR‑en, oder füttert das LLM mit Müll. pdf-inspector, die Open-Source-Rust-Bibliothek von Firecrawl, liefert die Antwort in 10–50 Millisekunden. Sie hat 8,6 k Sterne, heute +1.699 – das am schnellsten wachsende KI‑Repo, das auf GitHub im Trend liegt.
Was es tatsächlich tut
Es klassifiziert ein PDF als textbasiert, gescannt, bildbasiert oder gemischt, indem es die interne Struktur ausliest – Schriftkodierungen, Textoperatoren, Bildabdeckung. Kein Rendering, keine ML‑Modelle, nur eine einzige Abhängigkeit. Anschließend extrahiert es positionsbewussten Text und sauberes Markdown und verarbeitet dabei Tabellen sowie mehrspaltige Layouts. In einem 200-PDF-Benchmark verarbeitete es das gesamte Korpus in 0,47 Sekunden und lag bei der Lesereihenfolge vor den konkurrierenden Engines.
Das ist die Engine hinter Fire-PDF, der Parsing‑Pipeline von Firecrawl: Textseiten umgehen die GPU vollständig, nur Scans benötigen OCR. Ergebnis: 3,5–5,7 × schnelleres Parsen, bei einem Bruchteil der Kosten.
In deine Pipeline einbinden
Es ist eine Bibliothek, kein Service – pip, npm, cargo, sogar Browser‑WASM. Typischer Ablauf: Klassifizieren, textbasierte PDFs lokal in ~150 ms extrahieren, Scans zu OCR weiterleiten. MIT‑Lizenz.
Nach dem Web‑Crawling ist dies die zweite Waffe von Firecrawl im Feed-Data-to-LLMs-Stack. Der Upstream jedes Agenten wird schnell commoditisiert.