Texterkennung in Grenzen zwingen, die das Dokument nicht selbst setzt

Zwei Wege, auf denen ein hochgeladenes Dokument den Server umbringen
konnte. Beide haben gemeinsam, dass die Groesse aus der Datei kam.

1. Dekompressionsbombe. Die PDF-Stroeme wurden mit inflateSync ohne
   maxOutputLength ausgepackt. Ein Flate-Strom sagt nicht, wie gross er
   ausgepackt wird - ein paar Kilobyte Fuellung blaehen sich auf Gigabyte
   auf. Jetzt ein Deckel je Strom (8 MB) und einer ueber die Summe
   (64 MB); zlib bricht selbst ab, der Strom wird verworfen, der Text ist
   eben unvollstaendig.

2. Riesenseiten. "pdftoppm -r 300" rendert mit fester Aufloesung, aber
   die Seitengroesse steht im PDF. Bei 200 x 200 Zoll ergeben 300 dpi ein
   Bild von 60000 x 60000 Pixeln, und zwar je Seite. Jetzt "-scale-to"
   statt fester dpi: Die laengste Kante bekommt eine feste Pixelzahl,
   unabhaengig davon, was im Dokument als Papierformat steht. Fuer A4
   entspricht das etwa den bisherigen 300 dpi. Dazu ein Deckel auf die
   Gesamtgroesse der gerenderten Dateien.

Der erste Bombentest war wertlos: Die Nutzlast enthielt keine
PDF-Textoperatoren, also war das Ergebnis mit und ohne Grenze leer. Mit
einer Marke in der Nutzlast und einer Gegenprobe knapp unter der Grenze
schlagen beide Mutationen an.

Refs #38

src/lib/ocr/index.ts

@@ -1,6 +1,6 @@
 import 'server-only'
 import { execFile } from 'node:child_process'
-import { mkdtemp, readdir, readFile, rm, writeFile } from 'node:fs/promises'
+import { mkdtemp, readdir, readFile, rm, stat, writeFile } from 'node:fs/promises'
 import { tmpdir } from 'node:os'
 import { join } from 'node:path'
 import { promisify } from 'node:util'
@@ -43,6 +43,26 @@ const MAX_SEITEN = 30
 /** Mehr als das braucht keine Volltextsuche - und die Spalte bleibt handhabbar. */
 const MAX_ZEICHEN = 400_000
 
+/**
+ * Laengste Kante einer gerenderten Seite in Pixeln.
+ *
+ * Vorher wurde mit festen 300 dpi gerendert. Bei einer normalen A4-Seite
+ * sind das rund 2480 x 3510 Pixel - unproblematisch. Die Seitengroesse
+ * steht aber im PDF und kann beliebig gross angegeben werden: Bei einer
+ * Seite von 200 x 200 Zoll ergeben 300 dpi ein Bild von 60000 x 60000
+ * Pixeln, also mehrere Gigabyte auf der Platte, und das je Seite. Ein
+ * Dokument, das jemand in die Akte legt, haette so den Server vollschreiben
+ * koennen.
+ *
+ * "-scale-to" haengt die Aufloesung an die Pixelzahl statt an die
+ * angegebene Papiergroesse. 3500 Pixel entsprechen bei A4 etwa 300 dpi -
+ * fuer den Regelfall bleibt also alles wie vorher.
+ */
+const MAX_KANTE_PIXEL = 3500
+
+/** Wie viel die gerenderten Seiten zusammen belegen duerfen. */
+const MAX_BILDER_BYTES = 512 * 1024 * 1024
+
 // -----------------------------------------------------------------------------
 // Verfuegbarkeit
 // -----------------------------------------------------------------------------
@@ -146,14 +166,39 @@ async function tesseractAufDatei(pfad: string): Promise<{ text: string; meldung?
 async function pdfInBilder(verzeichnis: string, pdfPfad: string): Promise<string[]> {
   await ausfuehren(
     'pdftoppm',
-    ['-r', '300', '-gray', '-png', '-l', String(MAX_SEITEN), pdfPfad, join(verzeichnis, 'seite')],
-    { timeout: ZEITGRENZE_JE_SEITE_MS * 4, windowsHide: true },
+    [
+      // Statt fester dpi: Die laengste Kante wird auf eine feste Pixelzahl
+      // gebracht. Siehe MAX_KANTE_PIXEL - eine im PDF angegebene Riesenseite
+      // ergibt sonst ein Riesenbild.
+      '-scale-to',
+      String(MAX_KANTE_PIXEL),
+      '-gray',
+      '-png',
+      '-l',
+      String(MAX_SEITEN),
+      pdfPfad,
+      join(verzeichnis, 'seite'),
+    ],
+    { timeout: ZEITGRENZE_JE_SEITE_MS * 4, maxBuffer: 1024 * 1024, windowsHide: true },
   )
-  const dateien = await readdir(verzeichnis)
-  return dateien
+
+  const dateien = (await readdir(verzeichnis))
     .filter((name) => name.startsWith('seite') && name.endsWith('.png'))
     .sort()
     .map((name) => join(verzeichnis, name))
+
+  // Zweiter Deckel, hinterher: Was pdftoppm trotz -scale-to abgelegt hat,
+  // wird nur bis zu einer Gesamtgroesse weiterverarbeitet. Der Rest bleibt
+  // liegen und wird mit dem Arbeitsverzeichnis geloescht.
+  const genommen: string[] = []
+  let gesamt = 0
+  for (const pfad of dateien) {
+    const { size } = await stat(pfad)
+    if (gesamt + size > MAX_BILDER_BYTES) break
+    gesamt += size
+    genommen.push(pfad)
+  }
+  return genommen
 }
 
 /**