Texterkennung in Grenzen zwingen, die das Dokument nicht selbst setzt

Zwei Wege, auf denen ein hochgeladenes Dokument den Server umbringen
konnte. Beide haben gemeinsam, dass die Groesse aus der Datei kam.

1. Dekompressionsbombe. Die PDF-Stroeme wurden mit inflateSync ohne
   maxOutputLength ausgepackt. Ein Flate-Strom sagt nicht, wie gross er
   ausgepackt wird - ein paar Kilobyte Fuellung blaehen sich auf Gigabyte
   auf. Jetzt ein Deckel je Strom (8 MB) und einer ueber die Summe
   (64 MB); zlib bricht selbst ab, der Strom wird verworfen, der Text ist
   eben unvollstaendig.

2. Riesenseiten. "pdftoppm -r 300" rendert mit fester Aufloesung, aber
   die Seitengroesse steht im PDF. Bei 200 x 200 Zoll ergeben 300 dpi ein
   Bild von 60000 x 60000 Pixeln, und zwar je Seite. Jetzt "-scale-to"
   statt fester dpi: Die laengste Kante bekommt eine feste Pixelzahl,
   unabhaengig davon, was im Dokument als Papierformat steht. Fuer A4
   entspricht das etwa den bisherigen 300 dpi. Dazu ein Deckel auf die
   Gesamtgroesse der gerenderten Dateien.

Der erste Bombentest war wertlos: Die Nutzlast enthielt keine
PDF-Textoperatoren, also war das Ergebnis mit und ohne Grenze leer. Mit
einer Marke in der Nutzlast und einer Gegenprobe knapp unter der Grenze
schlagen beide Mutationen an.

Refs #38

src/lib/ocr/index.ts

@@ -1,6 +1,6 @@
 import 'server-only'
 import { execFile } from 'node:child_process'
-import { mkdtemp, readdir, readFile, rm, writeFile } from 'node:fs/promises'
+import { mkdtemp, readdir, readFile, rm, stat, writeFile } from 'node:fs/promises'
 import { tmpdir } from 'node:os'
 import { join } from 'node:path'
 import { promisify } from 'node:util'
@@ -43,6 +43,26 @@ const MAX_SEITEN = 30
 /** Mehr als das braucht keine Volltextsuche - und die Spalte bleibt handhabbar. */
 const MAX_ZEICHEN = 400_000
 
+/**
+ * Laengste Kante einer gerenderten Seite in Pixeln.
+ *
+ * Vorher wurde mit festen 300 dpi gerendert. Bei einer normalen A4-Seite
+ * sind das rund 2480 x 3510 Pixel - unproblematisch. Die Seitengroesse
+ * steht aber im PDF und kann beliebig gross angegeben werden: Bei einer
+ * Seite von 200 x 200 Zoll ergeben 300 dpi ein Bild von 60000 x 60000
+ * Pixeln, also mehrere Gigabyte auf der Platte, und das je Seite. Ein
+ * Dokument, das jemand in die Akte legt, haette so den Server vollschreiben
+ * koennen.
+ *
+ * "-scale-to" haengt die Aufloesung an die Pixelzahl statt an die
+ * angegebene Papiergroesse. 3500 Pixel entsprechen bei A4 etwa 300 dpi -
+ * fuer den Regelfall bleibt also alles wie vorher.
+ */
+const MAX_KANTE_PIXEL = 3500
+
+/** Wie viel die gerenderten Seiten zusammen belegen duerfen. */
+const MAX_BILDER_BYTES = 512 * 1024 * 1024
+
 // -----------------------------------------------------------------------------
 // Verfuegbarkeit
 // -----------------------------------------------------------------------------
@@ -146,14 +166,39 @@ async function tesseractAufDatei(pfad: string): Promise<{ text: string; meldung?
 async function pdfInBilder(verzeichnis: string, pdfPfad: string): Promise<string[]> {
   await ausfuehren(
     'pdftoppm',
-    ['-r', '300', '-gray', '-png', '-l', String(MAX_SEITEN), pdfPfad, join(verzeichnis, 'seite')],
-    { timeout: ZEITGRENZE_JE_SEITE_MS * 4, windowsHide: true },
+    [
+      // Statt fester dpi: Die laengste Kante wird auf eine feste Pixelzahl
+      // gebracht. Siehe MAX_KANTE_PIXEL - eine im PDF angegebene Riesenseite
+      // ergibt sonst ein Riesenbild.
+      '-scale-to',
+      String(MAX_KANTE_PIXEL),
+      '-gray',
+      '-png',
+      '-l',
+      String(MAX_SEITEN),
+      pdfPfad,
+      join(verzeichnis, 'seite'),
+    ],
+    { timeout: ZEITGRENZE_JE_SEITE_MS * 4, maxBuffer: 1024 * 1024, windowsHide: true },
   )
-  const dateien = await readdir(verzeichnis)
-  return dateien
+
+  const dateien = (await readdir(verzeichnis))
     .filter((name) => name.startsWith('seite') && name.endsWith('.png'))
     .sort()
     .map((name) => join(verzeichnis, name))
+
+  // Zweiter Deckel, hinterher: Was pdftoppm trotz -scale-to abgelegt hat,
+  // wird nur bis zu einer Gesamtgroesse weiterverarbeitet. Der Rest bleibt
+  // liegen und wird mit dem Arbeitsverzeichnis geloescht.
+  const genommen: string[] = []
+  let gesamt = 0
+  for (const pfad of dateien) {
+    const { size } = await stat(pfad)
+    if (gesamt + size > MAX_BILDER_BYTES) break
+    gesamt += size
+    genommen.push(pfad)
+  }
+  return genommen
 }
 
 /**

src/lib/ocr/pdf-text.ts

@@ -15,8 +15,33 @@ import { inflateSync, inflateRawSync, unzipSync } from 'node:zlib'
  * "nicht_verfuegbar", und der Nutzer traegt die Metadaten von Hand ein.
  *
  * Rein, ohne Seiteneffekte, ohne Netz.
+ *
+ * ## Grenzen, und warum es sie braucht
+ *
+ * Ein Flate-Strom sagt nicht, wie gross er ausgepackt wird. Ein paar
+ * Kilobyte Nullen komprimieren auf fast nichts und blaehen sich beim
+ * Auspacken auf Gigabyte auf - die klassische Dekompressionsbombe. Vorher
+ * lief das Auspacken ohne Obergrenze, und ein Dokument, das jemand in die
+ * Akte legt, haette den Server damit aus dem Speicher werfen koennen.
+ *
+ * Deshalb drei Deckel: einer je Strom, einer fuer die Summe, und die
+ * bestehende Obergrenze von 2000 Stroemen. Wird einer erreicht, bricht das
+ * Auspacken ab und der Text ist eben unvollstaendig - besser ein
+ * "nicht_verfuegbar" als ein Serverneustart.
  */
 
+/**
+ * Wie gross ein einzelner ausgepackter Strom werden darf.
+ *
+ * Acht Megabyte sind fuer eine Seite Text absurd viel - ein
+ * Behoerdenbescheid liegt bei einigen Kilobyte. Die Grenze ist bewusst
+ * grosszuegig: Sie soll Bomben abfangen, nicht ungewoehnliche PDFs.
+ */
+const MAX_STROM_BYTES = 8 * 1024 * 1024
+
+/** Und wie viel es ueber alle Stroeme zusammen sein darf. */
+const MAX_GESAMT_BYTES = 64 * 1024 * 1024
+
 /** Oktal-Escapes und Standard-Escapes in PDF-Literalstrings. */
 function literalEntpacken(roh: string): string {
   let ergebnis = ''
@@ -108,8 +133,9 @@ function stroemeAuspacken(pdf: Buffer): string[] {
   const roh = pdf.toString('latin1')
   const stroeme: string[] = []
   let suchAb = 0
+  let gesamt = 0
 
-  while (stroeme.length < 2000) {
+  while (stroeme.length < 2000 && gesamt < MAX_GESAMT_BYTES) {
     const beginn = roh.indexOf('stream', suchAb)
     if (beginn < 0) break
 
@@ -131,28 +157,50 @@ function stroemeAuspacken(pdf: Buffer): string[] {
     }
 
     if (/\/Filter\s*(\/FlateDecode|\[\s*\/FlateDecode)/.test(kopf)) {
-      const entpackt = flateVersuchen(daten)
-      if (entpackt) stroeme.push(entpackt.toString('latin1'))
+      const entpackt = flateVersuchen(daten, MAX_GESAMT_BYTES - gesamt)
+      if (entpackt) {
+        gesamt += entpackt.length
+        stroeme.push(entpackt.toString('latin1'))
+      }
       continue
     }
 
     if (!/\/Filter/.test(kopf)) {
+      // Unkomprimiert: Hier gibt es nichts, was sich aufblaehen koennte -
+      // die Bytes stehen so in der Datei. Sie zaehlen trotzdem mit, damit
+      // die Summe stimmt.
+      gesamt += daten.length
       stroeme.push(daten.toString('latin1'))
       continue
     }
 
     // Unbekannter Filter: trotzdem einen Flate-Versuch wagen.
-    const entpackt = flateVersuchen(daten)
-    if (entpackt) stroeme.push(entpackt.toString('latin1'))
+    const entpackt = flateVersuchen(daten, MAX_GESAMT_BYTES - gesamt)
+    if (entpackt) {
+      gesamt += entpackt.length
+      stroeme.push(entpackt.toString('latin1'))
+    }
   }
 
   return stroeme
 }
 
-function flateVersuchen(daten: Buffer): Buffer | null {
+/**
+ * Packt einen Strom aus - mit Deckel.
+ *
+ * maxOutputLength laesst zlib abbrechen, sobald die Ausgabe die Grenze
+ * ueberschreitet; der Fehler landet im catch wie jeder andere. Ohne diese
+ * Angabe entpackt Node so lange, wie Speicher da ist.
+ *
+ * @param rest Wie viele Bytes ueber alle Stroeme noch uebrig sind.
+ */
+function flateVersuchen(daten: Buffer, rest: number): Buffer | null {
+  const grenze = Math.min(MAX_STROM_BYTES, rest)
+  if (grenze <= 0) return null
+
   for (const fn of [inflateSync, unzipSync, inflateRawSync]) {
     try {
-      return fn(daten)
+      return fn(daten, { maxOutputLength: grenze })
     } catch {
       // naechster Versuch
     }