Die Leistung eines Prozessors lässt sich recht einfach messen – bei generativer KI wird es hingegen schwierig.
. Dabei hat sich gezeigt, dass es für Forschende extrem schwierig ist, überhaupt mit den Entwicklungssprüngen der Large Language Models Schritt zu halten. Ein besonders umfangreicher Benchmark ist das 2022 von Google-Forschern initiierte Beyond the Imitation Game . Die Sammlung enthält 204 Aufgabenbereiche, zusammengetragen von 450 Autoren aus 132 Institutionen.
"Ein weiteres Problem bei Benchmarks liegt darin, dass die Fragenkataloge für Benchmarks mitunter ins Training der Modelle einsickern", ergänzt Gieselmann. Auch ähneln sich viele Aufgaben so sehr, dass sie häufig auch ohne Fachwissen beantwortet werden können, weil KIs wirklich hervorragend darin sind, Muster zu lernen. Und deshalb können die auch lernen, allein anhand der Aufgabenstellungen die plausibelste Lösung zu nennen.
Es führt also kein Weg daran vorbei, selbst zu testen, ob ein bestimmtes Modell für die eigenen Zwecke sinnvoll genutzt werden kann. Benchmarks sind da nur ein erster Anhaltspunkt. "Wichtig ist zum Beispiel die Frage, ob das Modell auch mit Deutscher Sprache trainiert wurde", gibt Trinkwalder zu bedenken.
Es muss also immer wieder der Mensch in der Schleife drin sein und darauf schauen, wie gut KI in einem bestimmten Bereich einsatzbereit ist. Die Vorstellung, das die 20 bis 30-prozentige Fehlerquote von ChatGPT momentan nur eine Kinderkrankheit ist, die man nächste Woche behoben haben wird, sei unrealistisch. Da sind sich die beiden c’t-Experten einig. "Darum müssen wir vor allen Dingen lernen, nicht den Maschinen zu trauen, sondern kritisch draufzugucken.
Ireland Latest News, Ireland Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
- Neuer Deep Dive stellt Modi und Features vorMit EA Sports WRC erscheint am 3. November die neue Rallye-Simulation von den Dirt Rally-Machern Codemasters für PS5, Xbox Series X/S und den PC.
Read more »
Wie Daueralarm unserer Psyche zusetzt und wie Sie klug gegensteuernKrisen, Ungerechtigkeit, Klimawandel: Der Druck steigt und die Psyche leidet. Antje Heimsoeth, eine Expertin für Mentale Stärke, erörtert die psychische Herausforderung und gibt Tipps zur Selbsthilfe.
Read more »
Russlands größter Klassiker „Anna Karenina“: Wie absurd das Leben war – und wie ähnlich wir uns sindVon wegen die Jugend liest nicht mehr! Meine Tochter hat einen Buchklub gegründet und sich ausgerechnet „Anna Karenina“ von Lew Tolstoi ausgesucht. Eine Kolumne.
Read more »
Wie finde ich heraus, welche Grafikkarte verbaut ist und wie bringe ich diese zum Laufen?Abend zusammen, Ich habe einen Windows 7 Laptop und möchte diesen mit der dedizierten Grafikkarte zum Laufen bekommen. Leider weiß ich nicht, welche das ist (weder Modell, noch Nvidia/AMD). Unter Windows wird nur die integrierte Intel HD4000 angezeigt und sonst nichts. Den Laptop (Clevo...
Read more »
Wie Daueralarm unserer Psyche zusetzt und wie Sie klug gegensteuernKrisen, Ungerechtigkeit, Klimawandel: Der Druck steigt und die Psyche leidet. Antje Heimsoeth, eine Expertin für Mentale Stärke, erörtert die psychische Herausforderung und gibt Tipps zur Selbsthilfe.
Read more »
Krebs-Diagnose: Wie Erkrankte den richtigen Arzt finden und wie sie eine Zweitmeinung einholen könnenKrebs kann jeden und jede treffen. Welche Krebstherapien es gibt, wo Erkrankte seriöse Informationen finden und wie sie eine gute Arztpraxis erkennen.
Read more »