Wie gut sind aktuelle KI-Agenten als CAD-Ingenieure?
Wir messen, wie gut KI-Agenten in unserer Umgebung eine echte Ingenieuraufgabe lösen: eine technische Zeichnung lesen, daraus ein 3D-Modell entwickeln und die eigene Arbeit nachvollziehbar belegen. Offen dokumentierte Methode, fester Bewertungsmaßstab, ausschließlich eigene Ergebnisse — der Bewertungscode selbst bleibt intern.
Ausgewählte Ergebnisse
Beste Rekonstruktionen
Sechs Beispiele aus den zwölf Fällen, in denen claude-opus-5 (Lauf 1) die Form der Referenz exakt getroffen hat (Formtreue 1,00). Klick auf eine Kachel lädt die interaktive 3D-Ansicht – frei in alle Richtungen drehen (Maus), zoomen (Rad), verschieben (rechte Maustaste bzw. zwei Finger).
Alle gezeigten 3D-Modelle sind KI-Rekonstruktionen aus den technischen Zeichnungen — nicht die Originalmodelle.
Alle 26 Fälle im Vergleich — Video neben 3D Zu den Messzahlen
Der Ablauf
Von der Zeichnung zur Bewertung
KI liest die Zeichnung
Ein Kommandozeilen-Agent (codex oder Claude Code) erhält eine technische Zeichnung und die Aufgabe, das Bauteil parametrisch zu modellieren – ohne Zugriff auf die Lösung.
FreeCAD als Werkbank
Gearbeitet wird über eine REST-Befehlsschnittstelle auf einem echten CAD-Kernel: Primitive, boolesche Operationen, semantische Selektoren, TechDraw-Projektion und -Messung, B-Rep-Validierung.
Messung in fünf Dimensionen
Das Ergebnis wird gegen ein Referenzmodell in fünf Dimensionen gemessen – mit einem über die gesamte Kampagne unveränderten Bewertungsmaßstab und je Fall ausgewiesenen Obergrenzen.
Der Vergleich
Alle sieben Systeme nebeneinander
Bilanz
Das Kurzurteil der Kampagne
Kurz gesagt: Das beste System rekonstruiert Bauteile aus technischen Zeichnungen bereits bemerkenswert formtreu — als Werkzeug mit menschlicher Prüfung, nicht als Ersatz für die Freigabe durch eine Fachkraft. CAD-Kenntnisse bleiben nötig: Ansichten zuordnen, unklare Bemaßung erkennen, das Ergebnis prüfen (FAQ). Die zwei Bestehens-Quoten sind in den Ergebnissen erklärt.
Reichweite
Was dieses Testlabor ist – und was nicht
Es ist
- ein dokumentiertes Testlabor mit offen beschriebener Methode;
- eine Messung ausschließlich eigener Ergebnisse in unserer Umgebung (FreeCAD, REST-Befehlsschnittstelle, Regelwerk);
- so präzise beschrieben, dass Metrik und Umgebung inhaltlich nachvollziehbar sind — der Code selbst bleibt intern;
- vollständig in beide Richtungen ausgewiesen – einschließlich abweichender Interpretationen der Agenten.
Es ist nicht
- keine offene Bestenliste – fremde Einreichungen werden nicht angenommen;
- keine Veröffentlichung von Fremddaten – keine Zeichnungen, keine Referenzmodelle, keine abgeleiteten Maßdateien;
- kein Produkt und keine Dienstleistung – dieses Labor misst und berichtet; es gibt nichts zu kaufen oder zu beauftragen;
- keine Code-Veröffentlichung – Bewertungs- und Schnittstellen-Code bleiben intern, beschrieben statt abgedruckt;
- kein Platzierungsanspruch: Einzelläufe streuen, deshalb weisen wir Spannweiten und getrennte Teilmengen aus.
Die Idee hinter CAD-Agents
Ein Agent, der ein echtes Fachwerkzeug bedient, an derselben Sache mitarbeitet und seine Arbeit gegen überprüfbare Kriterien verantworten muss – das ist der Kern dieses Ansatzes. Für CAD heißt das: kein freies Erzeugen nicht nachvollziehbarer Einzellösungen, sondern sichere Operationen auf hoher Abstraktionsebene, ausgeführt auf einem echten Geometrie-Kernel plus eine Verifikationsschicht, die beurteilt, ob ein Ergebnis nicht nur topologisch gültig, sondern fachlich richtig ist.
Dieses Labor bildet die erste Stufe ab: Zeichnung → Modell → Selbstdokumentation. Simulation (FEM) und Fertigung (CAM) sind Ausbaustufen und nicht Teil der hier gezeigten Zahlen.
Zur MethodikMethodik im Detail ansehen
Fünf Dimensionen, Obergrenzen je Fall, Isolations-Protokoll und die Grenzen der Aussagekraft.
Methodik öffnen