Domain-Specific Training: Der heilige Gral für ChatGPT & Co.
Ob ChatGPT & Co. von wirklich durchschlagenden Nutzen für Wirtschaft und staatliche Verwaltung sein werden, muss sich erst noch zeigen.
Der Grund: Large Language Models werden im großen Stil menschliche Tätigkeiten nur übernehmen können, wenn sie an (komplexem) Spezialwissen trainiert werden können und danach ungefähr 70-80% richtigen Output liefern und gleichzeitig die falschen 20-30% als falsch erkennen und nicht ausgeben (wenn sie also nicht halluzinieren).
Warum es so schwer ist, den LLMs das Halluzinieren auszutreiben – was die Herausforderungen des sogenannten domänenspezifischen Trainings sind und ob/wie dies möglich sein kann – dem geht Christian R. Ulbrich zusammen mit Burkhard Ringlein in einem Artikel für die November-Ausgabe der SWISS ENGINEERING (Download) auf den Grund.