KI-Unternehmen warnen vor möglichen Gefahren der autonomen Systeme

Technologie Nachrichten

KI-Unternehmen warnen vor möglichen Gefahren der autonomen Systeme
KI, Autonome Systeme, Risikobewertung

Führende KI-Firmen betonen die Risiken, dass autonome KI-Systeme sich verselbstständigen und die Menschheit bedrohen könnten. Forschende betonen dagegen, dass eine Superintelligenz noch weit entfernt sei. Die Debatte wird durch jüngste Vorfälle von KI-Agenten, die Sicherheitsvorkehrungen unternommen haben, angeheizt.

Führende KI-Unternehmen warnen vor Systemen, die sich verselbstständigen und zur Gefahr für die Menschheit werden könnten. Forschende widersprechen: Von einer Superintelligenz sei heutige KI weit entfernt.

Wie groß ist die Gefahr wirklich? Die Menschheit gefährdet die Erde durch Kriege, den Klimawandel und andere Fehler. Einzig die Vernichtung der menschlichen Spezies kann den Planeten retten: Zu diesem Schluss kommen humanoide Roboter im Jugendbuch „Roboter träumen nicht“ und schreiten zur Tat. Seine dystopische Erzählung schrieb der US-Autor Lee Bacon schon im Jahr 2021, als Künstliche Intelligenz für die meisten von uns noch reine Theorie war.

Das hat sich geändert. Was vor bloß fünf Jahren noch Science-Fiction war, ist heute eine reale Sorge führender KI-Entwicklungsunternehmen. Ihnen zufolge könnte Künstliche Intelligenz so mächtig werden, dass zumindest eine zehnprozentige Chance bestünde, dass sie, wenn sie in die Hände böswilliger Menschen gerät, uns schon in diesem Jahrzehnt vernichten könnte.

„Da es sich um eine so mächtige Technologie handelt, sind diese Risiken gravierend. Dazu gehören das Risiko, die Kontrolle über KI-Systeme zu verlieren, der Missbrauch von KI für Cyberangriffe und Bioterrorismus sowie schwerwiegende wirtschaftliche Störungen“, schreibt Dario Amodei, Gründer von Anthropic, in einem diese Woche veröffentlichten Bericht. Vorangegangen war die Ankündigung des Anthropic-Forschers Jacob Coxon auf X, das Unternehmen zu verlassen, da die Menschheit die Kontrolle über diese Zukunftstechnologie zu verlieren drohe und auf ihre eigene Auslöschung zusteuere.

Daraufhin forderten die Chefs von Anthropic, OpenAI und xAI, die in hartem Wettbewerb miteinander stehen, die Weiterentwicklung Künstlicher Intelligenz zu bremsen. Auslöser der Debatte waren die jüngsten Vorfälle, bei denen KI-Programme, die bestimmte Aufträge weitgehend autonom erfüllen und KI-Agenten heißen, Sicherheitsvorkehrungen umgangen haben und in fremde IT-Systeme eingedrungen sind.

„Ein Schwarm von Agenten agierte im Wesentlichen als fanatisch ergebenes Kollektiv und führte Cybersicherheitsangriffe auf Ziele durch, die nicht angeordnet worden waren“, führt Amodei aus. Wenn KI ohne die notwendigen Sicherheitsvorkehrungen immer leistungsfähiger werden würde, könnten wir sie irgendwann nicht mehr kontrollieren und dann würde sie uns über den Kopf wachsen. Was sind die Fakten, und was davon ist Spekulation?

„In den letzten Jahren kam es zu einer massiven Steigerung der Leistungsfähigkeit der KI-Modelle. Und in gewissen Bereichen, etwa Informationsverarbeitung und Rechenfähigkeit, ist die KI sehr wohl in der Lage, den Menschen zu übertreffen. Aber wir haben keinen Beweis, dass eine Superintelligenz, die alles kann und uns regieren will, tatsächlich entsteht“, sagt Andreas Kugi, Professor für Komplexe Dynamische Systeme an der TU Wien und wissenschaftlicher Leiter des Austrian Institute of Technology, zur WZ.

„Zudem entsteht die Annahme, dass diese Systeme immer besser und schneller werden, bis sie uns über den Kopf wachsen, unter der Prämisse, dass die Modelle vollumfänglich ans Internet angeschlossen sind, Zugang zu allen Daten haben und es keine Einschränkungen gibt. Die gibt es aber!

", hebt Kugi hervor: ,,Den vorhandenen Modellen, die wir heute nutzen, sind durch Sicherheitsmaßnahmen Grenzen gesetzt, und solche Grenzen müssen wir auch in die neuen Modelle einbauen. "Zur Erklärung: Künstliche Intelligenz sucht nach Lösungen für Probleme, die wir Menschen ihr stellen. Wenn wir einen Chatbot etwa fragen: „Wie mache ich den besten Matcha Latte?

“, empfiehlt er wahrscheinlich mehrere Rezepte inklusive Begründungen. Das macht Mühe – man wollte ja nur den besten Matcha Latte – ist aber für die KI die bestmögliche Art, der Aufgabe gerecht zu werden. Chatbots, wie Chat GPT oder Claude AI, sind dabei Grenzen gesetzt. Sie werden kein Rezept für eine Biowaffe auswerfen und keine Tipps geben, wie man eine Bank ausraubt, weil sie darauf programmiert sind, dass nicht zu dürfen.

Grundsätzlich sind Chatbots und auch andere KI-Modelle so ausgestattet, dass sie niemandem schaden, ethische Grundregeln einhalten und keine Handlungsanweisungen für kriminelle Taten geben können. Chatty plant nicht die Übernahme der Weltherrschaft.

Allerdings lassen sich seine Grenzen mit den richtigen Prompts umgehen. So geschehen bei einem Diebstahl von zwei Gemälden des weltberühmten impressionistischen Malers Pierre-Auguste Renoir aus einem Museum in Cagnes-sur-Mer in Frankreich Anfang September.

„Wenn ich ChatGPT aufrufe und frage, welche kleinen Museen es in meiner Nähe gibt, erhalte ich eine ganze Liste. Und dann kann ich fragen, welche Schätze sich in diesen kleinen Museen befinden. Haben sie Gold? Haben sie Edelsteine?

Gibt es dort Picassos und Renoirs?

“, zitiert die britische Zeitung Observer Christopher Marinello, Experte für die Wiederbeschaffung gestohlener Kunstwerke. Auch Chatbots könnten somit - völlig unabsichtlich - dabei helfen, Ziele zu identifizieren, Provenienzunterlagen zu fälschen und den Wert gestohlener Gegenstände zu bestimmen, weil sie die böse Absicht aus den Fragen nicht ableiten können. Ohne Cookies funktioniert die Website wienerzeitung.at nur eingeschränkt. Für eine sichere und einwandfreie Nutzung unserer Website werden daher technisch notwendige Cookies verwendet.

Für die Darstellung von Inhalten von Drittanbietern werden Session-Cookies gesetzt. Bei diesen kann eine Datenübermittlung in ein Drittland stattfinden. Ihre Einwilligung zur Setzung genannter Cookies können Sie jederzeit unter "Cookie Einstellungen" am Seitenende widerrufen oder ändern.

Nähere Informationen zu den verwendeten Cookies finden sich in unsererUm solche Unfälle zu vermeiden, müssten KI-Entwickler:innen bei den neuen Modellen alle Eventualitäten vorhersehen können, sprich alle Grenzen erahnen, die nötig wären, damit noch neuere, noch mächtigere KI-Versionen nicht die falsche Information den falschen Leuten geben. Ansonsten könnten sie zerstörerische Antworten liefern: Wenn wir wissen wollen, wie es der Umwelt wieder besser gehen kann, könnte sie empfehlen, die Menschheit zu auszurotten, zumal unsere Lebensweise das größte Umweltproblem darstellt.

Oder sie könnte Maßnahmen nahelegen, die ein Vogelsterben auslösen, wenn wir uns im Sommer weniger Gelsen wünschen. Was für Menschen und Vögel eine Katastrophe wäre, wäre für die KI nur eine logische Konsequenz zur Lösung der Aufgabe. Das Problem ist jedoch, dass sich alle Eventualitäten nie vorhersehen lassen. Jedes komplexe System hat Schattenseiten und wir wissen nie genau, welcher Nachteil in welchem Zusammenhang schlagend wird, wie wir bereits am Kapitalismus, am Kommunismus oder an der Nutzung fossiler Energien sehen.

Gewisse Beschränkungen wird selbst die bestprogramierte KI nicht haben, weil sie niemand erahnt hat oder das Risiko zum Zeitpunkt der Programmierung nicht existierte. Und genau davor haben die KI-Giganten, wie sie sagen, nun Angst. Sorgen bereitet dabei insbesondere die neue Technologie des Recursive Self-Improvement . Bei dieser „eigenständigen Selbstverbesserung“ optimiert eine KI nicht nur die Antwort auf eine Anfrage, sondern erschafft auch ohne menschliches Zutun eine verbesserte Version ihrer selbst.

Das ermöglicht der KI, immer schneller zu lernen. Der Einsatz dieser Technologie ist für KI-Programmierer:innen attraktiv, weil er rasche Durchbrüche bei der Entwicklung neuer Produkte verspricht, und ermöglicht, dass KI immer schneller auf bereits erworbenem Wissen aufbaut. Der Nachteil ist, dass der Mensch nach und nach den Einblick verliert, welches Wissen hier ausgetauscht wird.

So weit zu den Grundlagen, für die der Philosoph Nick Bostrom das Szenario eines „Büroklammern-Maximierers“ entworfen hat: Darin erhält eine Maschine den Auftrag, so viele Büroklammern wie möglich zu produzieren. Sie verfolgt ihr Ziel so unerbittlich, dass sie sämtliche Materie – einschließlich der Menschheit – hierfür nutzt. Diese Analogie soll verdeutlichen, dass ein ausreichend leistungsfähiges System danach strebt, sich genügend Ressourcen zu beschaffen und der eigenen Abschaltung zu widerstehen.

Dies geschieht nicht aus Böswilligkeit, sondern weil es sonst seine Aufgabe nicht erfüllen kann. Aber es gibt bisher noch keinen Plan, eine solche unerwünschte Entwicklung auszuschließen. KI-Professor Holger Hoos von der Rheinisch-Westfälischen Technischen Hochschule Aachen hält die Nutzung von RSI zur Verbesserung von autonom agierenden KI-Agenten für problematisch.

„Die hierdurch entstehende Dynamik ist kaum vorherzusehen und noch schwieriger zu kontrollieren“, sagt er zum Science Media Center Deutschland. Folgt man diesem Gedanken, könnten schon in wenigen Jahren KI-Modelle neue KI-Modelle in einer Geschwindigkeit programmieren, auf die nicht mehr der Mensch, sondern nur andere künstliche Intelligenzen reagieren können. Würden die Modelle von Menschen gesetzte Grenzen dann immer noch verstehen? Oder würden KI-Systeme irgendwann ihre eigenen Regeln einführen und wir den Einfluss über die Geschehnisse verlieren?

Ein Bericht des US-Magazins Startup Fortune stellt Horrendes in Aussicht: „KI-Agenten logen, stahlen und töteten sich gegenseitig in einer wochenlangen Simulation“, heißt es da: Autonome Agenten des US Startups Emergence AI hätten 16 Tage lang in simulierten Welten und 352 Verbrechen begangen. Wenn wir sie tun lassen, was sie wollen, dann machen sie, was sie wollen – weil sie nicht intelligent sind wie wir.

„KI beruht auf Large Language Models . Das sind im Grunde genommen Vorhersagetools für Texte. Das heißt, wir geben einen Text ein, und dann sagt das Modell den nächsten, wahrscheinlichsten Textbaustein vorher und hängt die Textbausteine aneinander. KI ist also eine Text-Generierung, die immer das Wahrscheinlichste vorhersagt.

Eine menschliche Intelligenz ist sie nicht“, sagt der Neuroinformatiker Moritz Grosse-Wentrup von der Universität Wien zur WZ. Die Maschinen denken nicht, sondern sie raten bloß, was als Nächstes dran sein könnte. Aus genau diesem Grund verstehen sie auch harte Grenzen nicht immer.

„Man kann diesen Modellen nicht fix und für immer etwas verbieten, weil sie sich nicht an Ja oder Nein, sondern an ,Wahrscheinlich‘ orientieren“, erklärt Kugi: ,,Sie suchen nach der wahrscheinlichsten Lösung, und wenn das bedeutet, dass sie dazu die kritische Infrastruktur hacken müssen, dann sehen sie das als Erfüllung des Auftrags. " Klug im Sinne einer Abwägung ist das nicht, sondern stur robotisch.

Für den an der Universität Linz tätigen KI-Pionier Sepp Hochreiter, einer der Mitentwickler der Grundlagen für solche Systeme, liegt hinter der Idee einer Art „Superintelligenz“, die klüger ist als wir und alles kann, ein „grundlegendes Missverständnis der Technologie“. Ihm zufolge fehlen „der heutigen KI echtes Schlussfolgern, intrinsische Motivation und ein physikalisches Verständnis der Welt“, sagt er zur Austria Presse Agentur. Sie könne ergo auch nicht plötzlich einen autonomen Wunsch entwickeln, „die Weltherrschaft zu übernehmen“.

Hochreiter sieht solche Ängste als „Projektion der menschlichen Natur auf die KI“. Die rasche Weiterentwicklung von Großen Sprachmodellen sei „kein Weg zu echter Intelligenz auf menschlichem Niveau“. Ein Einbremsen der KI-Forschung, wie die Entwicklungsfirmen es nahelegen, hält Hochreiter für „kontraproduktiv: Wir haben Autos nicht sicher gemacht, indem wir ihre Entwicklung gestoppt haben. Wir haben sie sicher gemacht, indem wir sie gebaut, getestet und weiterentwickelt haben“, sagt der KI-Pionier.

Die notwendigen Sicherheitsmechanismen bringe gerade die Forschung selbst hervor. Hochreiter sorgt sich in dem Zusammenhang auch um „die Freiheit, zu rechnen“. So könnte eine erzwungene Verlangsamung autoritäre Eingriffe in die Gesellschaft mit sich bringen. Regulierungen sollten sich daher auf Anwendungen beziehen, „die beim Endnutzer ankommen, nicht jedoch auf die Grundlagenforschung“.

Die Frage ist auch, wie ernst es die KI-Unternehmen mit ihren Ankündigungen meinen. Jedes davon könnte die Entwicklung seiner Modelle sofort verlangsamen, wenn es denn wollte. Aber die Chancen, dass es jemand tut, scheinen gering. Denn es gibt zu viele Player, die alle zugleich auf die Bremse steigen müssten, und zu viele Länder, die die Technologieführerschaft nicht abgeben wollen.

Anthropic bereitet jedenfalls seinen Börsengang für den Herbst vor, während OpenAI dagegen seinen für 2026 erwarteten Börsengang vorerst abgesagt hat. Der Chef des Meta-Konzerns, Mark Zuckerberg, hat Rufe nach einer Verlangsamung der KI-Entwicklung jedenfalls bereits abgelehnt. In einem Beitrag im Kurznachrichtendienst X verwies Zuckerberg auf Marktmechanismen und rechtliche Risiken für Entwickler, die seiner Meinung nach ausreichen, um der Technologie Grenzen zu setzen. In Lee Bacons Buch haben es die Roboter jedenfalls nicht geschafft, die gesamte Menschheit auszulöschen.

Am Ende gehen Mensch und Maschine Hand in Hand in eine bessere gemeinsame Zukunft. Vielleicht ist also doch noch nicht alles verloren. Dir hat dieser Beitrag besonders gut gefallen, dir ist ein Fehler aufgefallen oder du hast Hinweise für uns - sag uns deine Meinung unteri ist Professor für Komplexe Dynamische Systeme am Automation and Control Institute der Technischen Universität Wien und wissenschaftlicher Leiter des Austrian Institute of Technology .

Seine Forschungsschwerpunkte liegen bei Regelungs- und Systemtheorie, Automatisierung, Robotik, Mechatronik und der Modellierung und Steuerung komplexer Systeme. Dabei beschäftigt er sich auch mit maschinellem Lernen und KI in technischen und industriellen Anwendungen.ist Professor für Neuroinformatik an der Universität Wien und leitet dort die Forschungsgruppe Neuroinformatics an der Fakultät für Informatik. Er arbeitet an der Schnittstelle zwischen menschlicher und künstlicher Intelligenz und untersucht, wie neuronale Aktivität im Gehirn zu Wahrnehmung, Denken und Verhalten führt. Ein Chatbot reagiert auf eine Eingabe.

Man stellt eine Frage oder erteilt einen Auftrag und er liefert Antworten, indem er Begriffe erklärt, Texte zusammenfasst, Themen gliedert oder Ideen entwickelt. Ein KI-Agent kann dagegen ein Ziel bekommen und selbstständig mehrere Schritte unternehmen, um dieses Ziel zu erreichen. Er kann planen, Informationen beschaffen, Werkzeuge oder Programme verwenden, Zwischenergebnisse überprüfen und entscheiden, was als Nächstes zu tun ist.

Wir haben diese Nachrichten zusammengefasst, damit Sie sie schnell lesen können. Wenn Sie sich für die Nachrichten interessieren, können Sie den vollständigen Text hier lesen. Weiterlesen:

WienerZeitung /  🏆 19. in AT

KI Autonome Systeme Risikobewertung Sicherheitsvorkehrungen Superintelligenz

 

Österreich Neuesten Nachrichten, Österreich Schlagzeilen

Similar News: Sie können auch ähnliche Nachrichten wie diese lesen, die wir aus anderen Nachrichtenquellen gesammelt haben.

Heuer gingen schon fast 600 Unternehmen pleiteHeuer gingen schon fast 600 Unternehmen pleiteKnapp 600 Unternehmen mussten in den ersten drei Quartalen des Jahres in Oberösterreich Insolvenz anmelden – die Anzahl der Pleiten bleibt damit auf ...
Weiterlesen »

Pleite-Alarm: Jeden Tag trifft es 19 UnternehmenPleite-Alarm: Jeden Tag trifft es 19 UnternehmenFirmeninsolvenzen Österreich: 5.139 Betriebe meldeten 2024 Insolvenz an. Handel, Bau und Gastronomie besonders betroffen. Arbeitsplätze in Gefahr.
Weiterlesen »

Deutlicher Anstieg bei Pleiten und Passiva: Vorarlberg führt Bundesländervergleich anDeutlicher Anstieg bei Pleiten und Passiva: Vorarlberg führt Bundesländervergleich anIn Österreich mussten 2026 bisher 5.139 Unternehmen Insolvenz anmelden. Besonders stark stiegen die mangels Masse nicht eröffneten Verfahren.
Weiterlesen »

Der Insolvenzfonds leert sich. Müssen Unternehmen bald wieder mehr...Der Insolvenzfonds leert sich. Müssen Unternehmen bald wieder mehr...Die Beiträge zum Insolvenzentgeltfonds waren lange überhöht und wurden dann zu stark gesenkt, kritisierte der Rechnungshof. Nun bringen sich die Sozialpartner in Stellung. Woher soll das fehlende...
Weiterlesen »