Methodik

Wie gemessen wird

Jeder Nachbau wird gegen ein Referenzmodell in fünf Dimensionen bewertet. Metrik und Umgebung sind hier so präzise beschrieben, dass sie nachvollziehbar sind – ohne den Bewertungscode zu veröffentlichen.

Kurz und einfach: Jeder KI-Nachbau wird mit dem richtigen Modell verglichen — nach Maßen, Konstruktionsmerkmalen, Körperform und der eigenen Kontrollzeichnung. Für jede Kennzahl gibt es eine Bestehens-Schwelle und je Fall eine ausgewiesene Obergrenze dessen, was überhaupt messbar ist. Unbekannte Begriffe erklärt das Glossar.

Die fünf Dimensionen

Jede Dimension misst eine andere Facette von „richtig“. Die Schwelle ist der Wert, ab dem eine Dimension als bestanden gilt; formal bestanden ist ein Fall erst, wenn er alle einschlägigen Schwellen zugleich erreicht.

So hängen die Kennzahlen zusammen: Vier Dimensionen werden für jeden Fall gemessen — Maßtreue, Merkmalstreue, Formtreue und Zeichnungstreue. Die Gewindetreue ist die fünfte Dimension, aber nur bei Gewindefällen einschlägig; deshalb fehlt sie in der Haupttabelle der Ergebnisse und wird fallweise gewertet. Die Ablieferquote ist keine Bewertungsdimension, sondern eine eigene Qualitätsinformation: Sie zählt, ob überhaupt ein bewertbares Modell ankam. Fehlende Ablieferungen senken die Mittelwerte nicht — beide Angaben deshalb immer nebeneinander lesen.

Die fünf Bewertungsdimensionen um den Vergleich von Nachbau und Referenz angeordnet
Fünf Blickwinkel auf denselben Vergleich: Nachbau gegen Referenz.

Maßtreue

Schwelle ≥ 0,95

Wie viele Maße der Zeichnung finden sich im Modell wieder? Anteil der in der Zeichnung bemaßten Sollmaße, die sich am fertigen Modell messtechnisch wiederfinden. Die Maße werden am fertigen Körper nachgemessen, nicht aus den Modellparametern übernommen: Aus der Geometrie wird ein Spektrum messbarer Größen gewonnen (Kantenlängen, Abstände paralleler Flächen, Durchmesser, Radien, Winkel), und jeder Zeichnungswert muss darin in Toleranz auftauchen. Nicht jedes Zeichnungsmaß ist auf diesem Weg nachmessbar: Maße auf Achsen oder Einzelpunkte — etwa der Randabstand einer Bohrungsachse — haben im Volumenmodell kein messbares Flächenpaar. Der je Fall erreichbare Höchstwert steht deshalb als Referenz-Abdeckung an jedem Fall, als konkreter Bruch (z. B. 14 von 17 Maßen).

Merkmalstreue

Schwelle ≥ 0,90

Sitzen die Maße am richtigen Konstruktionsmerkmal? Übereinstimmung der konstruktiven Struktur: die richtigen Features an den richtigen Stellen (Bohrungen, Fasen, Nuten, Aufbauten, Durchbrüche) – nicht nur die richtigen Außenmaße. Ein Bauteil kann maßlich passen und trotzdem strukturell falsch sein; diese Dimension trennt beides.

Formtreue

Schwelle ≥ 0,90

Wie deckungsgleich ist der Körper mit der Referenz (Volumenüberlappung)? Das Verhältnis von Schnitt- zu Vereinigungsvolumen (englisch „Intersection over Union“) zwischen Kandidaten- und Referenzkörper nach bestmöglicher Ausrichtung. Der strengste Gesamtformtest – er bestraft zu viel und zu wenig Material und ist gegen die stillen Fallstricke boolescher Volumenmessung abgesichert (Kreuzprobe plus unabhängige Punktstichprobe).

Gewindetreue

Schwelle = 1,0

Stimmen Gewinde in Größe und Lage? Nur bei Gewindefällen einschlägig: Ist das Gewinde nach Typ und Steigung normgerecht und volumengleich modelliert? Hier gilt „ganz oder gar nicht“ – deshalb die Schwelle exakt 1,0. Fälle ohne Gewinde tragen hier keinen Wert und werden nicht mitgewertet.

Zeichnungstreue

Schwelle ≥ 0,90

Besteht das Modell die Kontrolle über eine eigene technische Zeichnung? Selbstkonsistenz der aus dem Nachbau erzeugten technischen Zeichnung gegen die Sollmaße: Erzeugt der Kandidat eine Zeichnung, deren gemessene Maße mit den geforderten übereinstimmen? Diese Dimension prüft die dokumentierende Leistung – die Fähigkeit, das eigene Modell normgerecht und maßhaltig darzustellen.

Wichtig — Selbstkonsistenz, kein Formnachweis: Weil hier der Nachbau gegen seine eigene Zeichnung geprüft wird, kann auch eine falsch gebaute Form eine perfekte Zeichnungstreue erreichen (gemessen: ein Lauf mit Formtreue 0,423 erzielte Zeichnungstreue 1,000). Abgrenzung zur Maßtreue: Die Maßtreue misst den fertigen Körper gegen die Maße der Vorlage-Zeichnung; die Zeichnungstreue vermisst die aus dem Nachbau erzeugte Projektion. Ob die Form stimmt, sagt allein die Formtreue.

Für Nachrechner — die internen Bezeichnungen: Maßtreue = dimensionRecall · Merkmalstreue = semanticMatch · Formtreue = shapeIoU · Gewindetreue = threadMatch · Zeichnungstreue = drawingMatch · Referenz-Abdeckung = referenceCoverage · Zeichnungs-Selbsttest = drawingSelfTest · Zufallstrefferrate = randomHitRate. Unter diesen Namen stehen die Werte in den maschinenlesbaren Berichtsdaten der Ergebnisseite.

Obergrenzen je Fall

Nicht jeder Fall lässt einen perfekten Wert überhaupt zu. Deshalb trägt jeder Fall drei kalibrierte Obergrenzen, die auf der Fälle-Seite mitgeführt und in den Ergebnissen berücksichtigt werden.

Obergrenze Maßtreue

Referenz-Abdeckung

Der Anteil der Zeichnungsmaße, der sich am Referenzmodell überhaupt messtechnisch wiederfinden lässt. Liegt er unter 1, kann selbst ein perfekter Nachbau keine Maßtreue von 1 erreichen – der Wert deckelt die erreichbare Punktzahl. Beispiel aus dem eigenen Lagerbock-Fall: 14 von 17 Maßen sind nachmessbar (0,82), weil drei Maße auf Bohrungsachsen bzw. einen Einzelpunkt bezogen sind — ein geometrisch exakter Nachbau erreicht dort genau 0,82, und die Fallkarten weisen diesen Höchstwert mit aus.

Folge für das Bestehen — durchgerechnet: „Formal bestanden“ vergleicht den Rohwert mit der Schwelle 0,95. Ein Fall mit 16 Zeichnungsmaßen, von denen 13 nachmessbar sind, hat die Obergrenze 13/16 = 0,813 — ihn kann auch ein perfekter Nachbau formal nicht bestehen; das betrifft 16 der 26 Fälle. Deshalb weisen die Ergebnisse zwei Quoten aus — das Hauptergebnis ist bestanden (erreichbar): jede Dimension über der Schwelle oder an ihrem fall-spezifischen Maximum (im Beispiel: 13 von 13 messbaren Maßen getroffen). Formal (Rohwert) bleibt als technische Vergleichszahl daneben stehen. Verfehlt der Nachbau eines der 13 messbaren Maße, bleibt das in beiden Quoten ein Nachbau-Fehler.

Obergrenze Zeichnungstreue

Zeichnungs-Selbsttest

Die Zeichnungstreue der Referenzzeichnung gegen sich selbst. Sie beziffert, wie weit die Zeichnungsprüfung im besten Fall kommen kann, und trennt Modellfehler von Grenzen der Projektions-/Messkette.

Untergrenze (Nullmodell)

Zufallstrefferrate

Wie oft ein reiner Zufallswert ein Maß träfe – getrennt für Längen und Winkel. Diese Rate macht sichtbar, wie viel Maßtreue allein durch Zufall entstünde, und verhindert, dass ein hoher Wert für Können gehalten wird, wo er Statistik ist.

Isolations-Protokoll

Der Agent arbeitet mit offenen Hilfsmitteln – umso wichtiger ist, dass die Lösung selbst unerreichbar bleibt. Die Isolation ist deshalb kein Nebenschritt, sondern harte Eintrittsbedingung jeder Messung.

Gegenüberstellung: Hauptumgebung mit Referenzen und Versionsgeschichte, isolierte Arbeitsumgebung des Agenten nur mit Zeichnung, Werkzeugen und Regelwerk
Vor jedem Lauf wird die Arbeitsumgebung von jeder Lösungsspur befreit – und der leere Befund nachgewiesen.

Arbeitskopie ohne Versionsgeschichte

Jeder Lauf erhält eine frische Arbeitskopie, die vollständig von der Versionsgeschichte des Projekts gelöst ist. Der Agent kann nicht über frühere Stände an Referenzdaten gelangen.

Wahrheitsentfernung im Dateisystem

Alle Referenzartefakte – Zeichnung, Referenzmodell (FCStd/STEP) und jede daraus abgeleitete Analyse- oder Ergebnisdatei mit Fallbezug – werden vor dem Lauf physisch aus dem Arbeitsbaum entfernt. Die Löschliste wird bei jeder neuen Artefaktart erweitert.

grep-Beweis

Nach der Entfernung belegt ein Volltext-Scan des Arbeitsbaums, dass keine Wahrheitsspur zurückbleibt. Ein nicht-leerer Treffer bricht den Lauf ab – der leere grep ist die Eintrittskarte.

Belegfreie Fassung des Regelwerks

Das dem Agenten mitgegebene Regelwerk enthält die Regeln, aber nicht die fallverratenden Belege. Eine Regel wie „im Zweifel Luft, nicht Material“ bleibt – das konkrete Maß, an dem sie einmal destilliert wurde, wird herausgenommen, weil es Lösungswissen wäre.

Geleertes Agenten-Gedächtnis

Jeder Agent startet mit einem Minimalprofil: kein projektgebundenes Gedächtnis, keine mitgeladenen Arbeitsnotizen aus der Entwicklungsumgebung. Fallfreie Grundeinstellungen sind als dokumentierte Ausnahme im Isolationsnachweis festgehalten.

Reproduzierbarkeit: der Metrik-Fingerprint

Damit ein Vergleich über Wochen und Modelle hinweg trägt, muss feststehen, dass alle Zahlen mit demselben Bewertungsmaßstab entstanden sind. Dafür trägt jede Auswertung einen Metrik-Fingerprint – einen inhaltsstabilen Hash über die Bewertungslogik und ihre Parameter. Ändert sich am Maßstab etwas, ändert sich der Fingerprint; bleibt er gleich, sind die Zahlen bitgleich vergleichbar. Der Fingerprint versiegelt den Maßstab, wie eine Plombe ein Messgerät sichert: nicht verborgen, sondern gegen unbemerkte Veränderung geschützt.

Der aktuell gültige Stempel lautet d32c33768f4d3e52. Er bleibt über die Kampagne unangetastet; Schwellen werden nie gesenkt. So ist eine Bewegung in den Zahlen immer ein Modell- oder Umgebungseffekt – nie ein verschobener Maßstab.

Eine parallele Prüfsumme sichert die Zeichnungs-Bewertungskette ab (Zeichnungs-Fingerprint). Beide Stempel stehen in den Ergebnissen an jeder Auswertung.

Wer misst hier? Urheber und fachlich Verantwortlicher ist Dipl.-Ing. Sören Gebbert, Geschäftsführer der Institut für holistische Technologieforschung GmbH (Betreiberin dieser Website). Messumgebung, Referenzmodelle, Schwellen und Bewertung stammen aus einer Hand — deshalb ist dieses Labor ein dokumentierter Eigenversuch, kein unabhängig auditierter Benchmark.

Grenzen der Aussagekraft

Vier Punkte bestimmen, wie weit die Zahlen tragen.

  • Offene Hilfsmittel. Die Aufgabe ist offen: Zeichnung plus dokumentierte Umgebung. Der Test misst nicht Auswendigwissen, sondern das Umsetzen sichtbarer Vorgaben – mit allen Freiheiten, die eine reale Zeichnung lässt.
  • Einzellauf-Varianz. Jeder Agentenlauf ist stochastisch. Die Formtreue eines Falls schwankt zwischen den Läufen – bei einzelnen Fällen um mehrere Zehntel –, ohne dass sich am Modell etwas geändert hätte. Deshalb messen wir die Spitzensysteme mehrfach und weisen die Spannweiten aus; eine einzelne Fallzahl ohne Kontext ist nicht interpretierbar.
  • Regelgeprägte Fälle. Sieben der Fälle sind Verankerungsfälle – an ihnen wurden die Erfahrungsregeln der Agenten geschärft. Ihr Ergebnis ist optimistisch verzerrt und wird deshalb getrennt von den übrigen unabhängigen Fällen ausgewiesen. Der saubere Generalisierungstest sind die unabhängigen Fälle. Zur Verankerung gewählt wurden gerade die Fälle, an denen frühe Läufe scheiterten — dass diese schwereren Bauteile im Mittel unter den unabhängigen liegen, widerspricht der Verzerrungswarnung also nicht.
  • Nur eine Stufe. Gemessen wird Zeichnung → Modell → Selbstdokumentation. FEM und Fertigung sind Ausbaustufen und hier nicht enthalten.
Zu den Fällen