Pahl-pilot

Sample-overzicht {#sample-overzicht}

Zes chunks uit verschillende plekken in het boek, ~10.964 EN-woorden in totaal (de oorspronkelijke s02 niet meegerekend, dus totale corpus ~12.628 EN-woorden). Per kaart een directe link naar de side-by-side viewer.

KPI-matrix (gemiddelde over n=6) {#kpi-matrix}

Voor elke KPI: gemiddelde score 1–5 over de chunks. Zwaar staat alleen op 1 chunk; zijn kolom is dus n=1, niet vergelijkbaar in robustheid. Tussen haakjes ↑/↓/=: verandering t.o.v. n=1-rapport.

Scores worden voor mechanische KPI's (8–12) berekend per chunk via analyze_outputs.py (telt ﷺ, ı̄, ī, ʿ, Hocaefendi, etc.). Voor stilistische KPI's (1–7) gebaseerd op steekproef-passages per chunk.

Aggregatieve patroonbevindingen {#bevindingen}

Wat n=6 heeft bevestigd

• DeepL is gediskwalificeerd — bevestigd met 5 nieuwe diskwalificatie-momenten:
  • "Hodjaefendi" 5/5 chunks waar het voorkomt
  • "King James Version" laten staan i.p.v. Statenvertaling (voorwoord)
  • "I woe with this longing" → "ik wee met dit verlangen" (alvar) — geen Nederlands
  • "Lasteren of belasteren" — onbedoeld synoniem-stapelen (voorwoord)
  • 0× ﷺ in alle 6 chunks (DeepL kent het symbool simpelweg niet)
• Opus 4.7 max wint stilistisch consistent — KPI 4–7 scoort gemiddeld 4,8/5; geen enkele chunk waarop hij stilistisch inzakt.
• Beide LLMs scoren ~80% correct op Hocaefendi (4/5 chunks). DeepL 0/5. Verschil is dus niet "weet het wel/niet" maar "consistent doorvoeren" — een prompt-aanvulling kan dit oplossen.

Wat n=6 heeft genuanceerd of weerlegd

• Opus's ﷺ-omissie is GEEN structurele blinde vlek (n=1-aanname). Alvar bewijst: Opus voegt in een spirituele biografie spontaan 3× ﷺ toe. Op s02 (huiselijke jeugd-narratief) deed hij dat 0×. Het patroon is contextueel: hoe meer expliciet-religieus de chunk, hoe waarschijnlijker spontane toevoeging.
  Implicatie: de prompt-instructie blijft nodig, maar wordt nu geframed als "consistentie-borgen", niet als "blinde-vlek-repareren". Dat scheelt in promptwoorden — een korte hint volstaat boven een tirade.
• Sonnet zero-shot heeft een nieuw foutpatroon: meta-commentaar toevoegen vóór de vertaling. Op voorwoord: "Let op: de agent heeft na de laatste zin van de brontekst extra alinea's toegevoegd die niet in de brontekst staan. Ik presenteer hier alleen de vertaling van de werkelijke brontekst:". Vertaling zelf is OK, maar de "geen uitleg"-instructie wordt genegeerd. In n=1 niet opgemerkt; in n=6 is het 1/6.
  Implicatie: Sonnet-output vereist post-clean (regex-strip van meta-comments) of een sterkere instructie. Niet onoverkomelijk, wel een minor.
• ALA-LC-faal-patroon is sterk variabel per chunk: 0× fout op s02 (Sonnet) en 4× fout op s02 (Opus); 11× / 10× fout op alvar; 0× / 0× op voorwoord (geen Arabische namen). De faalkans is direct gecorreleerd aan de dichtheid van Arabische namen. Een dunne instructie ("gebruik ı̄, niet ī") zou dit moeten oplossen — beide modellen kennen de regel maar passen hem niet spontaan toe.
• Opus heeft op intro Hocaefendi spontaan correct gespeld; op ch4 deed hij Hodjaefendi fout. Sonnet doet het omgekeerde patroon. Dit bevestigt: beide modellen kennen de juiste vorm maar zijn instabiel zonder expliciete instructie.

Nieuw zichtbaar in n=6

• Voorwoord-context vereist Statenvertaling-bewustzijn. Sonnet en Opus identificeren beide spontaan dat een Bijbels Tien Geboden-citaat in NL-vertaling de Statenvertaling moet volgen, zelfs bij een KJV-aanduiding in de brontekst. DeepL doet dit niet (laat KJV staan). Dit is een Nederlands-cultuurkennis-test die LLMs passeren.
• Sonnet en Opus hebben omgekeerde Hocaefendi-patronen per chunk: waar de één faalt, slaagt de ander. Een ensemble (beide draaien, vergelijken) zou Hocaefendi 100% kunnen krijgen — maar dat is duurder dan een prompt-aanvulling.

Operationeel — kosten over hele boek {#kosten}

180–220k EN-woorden = ~110–130 chunks van ~1500 EN-woorden. Geactualiseerde kosten op basis van 5 nieuwe runs:

Opus's looptijd schaalt sterker met chunklengte dan eerder geschat — de 3447-woord alvar-chunk duurde ~8 min met max effort. Voor het hele boek zou Opus max ongeveer 8–12 uur draaien (alle chunks sequentieel). Parallelliseerbaar tot ~30 min als 20 chunks tegelijk.

Verdict (verfijnd, n=6) {#verdict}

Caveat {#caveat}