Künstliche Intelligenz und die Urteilskraft.

aus spektrum.de, 19. 4. 2020

Erfülle uns nur einen einzigen Wunsch!
Für das fundamentalste aller KI-Probleme haben Forscher eine neue Lösung gefunden. Sie ist nicht nur einfach, sie ist elegant.

 von Natalie Wolchover

Wer sich von einer künstlichen Intelligenz Wünsche erfüllen lassen möchte, sollte gut aufpassen, was er sich wünscht. Warum, illustriert ein inzwischen klassisch gewordenes Gedankenexperiment des Oxforder Philoso-phen Nick Bostrom. Bostrom stellte sich einen superintelligenten Roboter vor, der mit einem scheinbar harm-losen Ziel programmiert wurde: Büroklammern herzustellen. Es endet damit, dass der Roboter die ganze Welt in eine gewaltige Fabrik zur Produktion von immer mehr Büroklammern vewandelt.

Man kann solche Gedankenspiele als rein akademische Fingerübung abtun, als Szenario, um das wir uns, wenn überhaupt, in ferner Zukunft kümmern müssen. Tatsächlich aber sind KI-Systeme, die Ziele verfolgen, die nicht mit den unseren übereinstimmen, viel früher zum Problem geworden, als die meisten erwartet haben dürften.

Eines der alarmierendsten Beispiele betrifft heute schon Milliarden von Menschen: all jene nämlich, die Videos auf Youtube anschauen. Dem Unternehmen geht es aus wirtschaftlicher Sicht darum, dass die Besucher mög-lichst viele Videos möglichst lang betrachten. Dafür setzt es Algorithmen ein, die mit Hilfe von KI den Zuschau-ern neue Inhalte empfehlen. Vor zwei Jahren fiel Informatikern und Nutzern auf, dass der Youtube-Algorithmus sein Ziel offenbar dadurch zu erreichen versuchte, dass er den Usern Videos mit immer extremeren Inhalten oder Verschwörungstheorien empfahl.

Eine Forscherin berichtete, dass ihr Youtube, nachdem sie sich Filmmaterial von Donald Trumps Wahlkampf-auftritten angesehen hatte, Videos vorschlug, in denen Rassisten auftraten oder Holocaustleugner oder Men-schen, die andere verstörende Inhalte unters Volk streuten. Das Prinzip des Algorithmus, immer noch einen draufzusetzen, gehe über das Thema Politik hinaus, sagt sie: »Videos über Vegetarismus führten zu Videos über Veganismus. Videos über Joggen führten zu Videos über das Laufen von Ultramarathons.« Studien zufolge trägt der Youtube-Algorithmus so dazu bei, dass die Gesellschaft immer weiter polarisiert wird, die Menschen immer extremer werden und sich Falschinformationen verbreiten. Und das alles, um den Zuschauer noch ein paar Mi-nuten länger am Bildschirm zu halten. Man würde sich wünschen, dass nicht ausgerechnet ein Medienunterneh-men von der Größe Youtubes zum ersten gigantischen Testfall einer Empfehlungs-KI geworden wäre, sagt Dylan Hadfield-Menell, ein KI-Forscher an der University of Cali-fonia in Berkeley.

Weder Entwickler noch Computer führen Böses im Schilde

Die Entwickler bei Youtube hatten wahrscheinlich nie die Absicht, die Menschheit zu radikalisieren. Aber Programmierer können unmöglich an alles denken. »So, wie KI derzeit entwickelt wird, liegt die Verantwor-tung vor allem bei denjenigen, die das System designen. Sie müssen sich überlegen, welche Auswirkungen die Anreize haben, die sie ihren Systemen geben«, sagte Hadfield-Menell. »Und eine Sache, die wir gelernt haben, ist, dass viele Entwickler Fehler gemacht haben.«

Der Knackpunkt liegt darin, dass wir unseren KI-Systemen deshalb keine geeigneten Ziele vorgeben können, weil wir selbst gar nicht wissen, was wir eigentlich wollen. »Wenn man den Laien fragt: ›Was soll dein autono-mes Auto können?‹, bekommt man zur Antwort: ›Kollisionen vermeiden‹«, sagt Dorsa Sadigh, eine auf Mensch-Roboter-Interaktion spezialisierte KI-Wissenschaftlerin an der Stanford University. »Aber wenn man genau hinschaut, sieht man, dass es noch viel mehr gibt; Menschen haben eine Menge Wünsche und Präferen-zen.« Autos, die nur auf Nummer sicher gehen, fahren zu langsam und bremsen so oft, dass es den Passagieren irgendwann schlecht wird.

Und selbst wenn Programmierer versuchen, alle Ziele und Vorlieben aufzulisten, die ein Roboterauto anstreben sollte, gleichzeitig zu erfüllen, am Ende wäre die Liste trotzdem unvollständig. In San Francisco sei sie schon öfter hinter einem selbstfahrenden Auto stecken geblieben, das weder vor noch rückwärts konnte, erzählt Sadigh: Seine Sicherheitsroutinen verhinderten die Kollision mit einem sich bewegenden Objekt, genau wie es ihm die Programmierer vorgegeben haben. Problem nur, dass es sich bei dem Objekt um eine flatternde Plastik-tüte oder ähnliches handelte.

Am Ende ist jedes Ziel das falsche

Solche Fälle, in denen die Ziele von Mensch und Maschine nicht mehr deckungsgleich sind, nennen Fachleute auch Alignment-Probleme. Nun könnte eine völlig neue Methode zur Programmierung sie künftig vermeiden helfen. Wie genau, das hat maßgeblich mit den Ideen Stuart Russells zu tun. Der vielfach ausgezeichnete Infor-matiker aus Berkeley, Jahrgang 1962, leistete in den 1980er und 1990er Jahren Pionierarbeit in den Bereichen Rationalität, Entscheidungsfindung und maschinellen Lernens; er ist auch Hauptautor des Standardlehrbuchs »Künstliche Intelligenz: Ein moderner Ansatz«. Der höfliche, zurückhaltende Brite im schwarzen Anzug ist in den letzten fünf Jahren zu einem einflussreichen Ideengeber für das Alignment-Problem geworden.

 
Aus Russells Sicht wird die heutige zielorientierte KI irgendwann an ihre Grenzen stoßen – trotz aller Erfolge bei Spezialaufgaben, sei es Jeopardy!, Go oder die Verarbeitung von Bildern, Sprache oder Tönen. Egal, worum es im Einzelfall gehe, argumentiert der Berkeley-Forscher, sobald sich eine Maschine an einer vorgegebenen Beschreibung ihrer Ziele orientieren müsse, erhalte man über kurz oder lang eine fehlgeleitete KI. Denn es sei unmöglich, alle Ziele, Unterziele, Ausnahmen und Vorbehalte in diese so genannte Belohnungsfunktion einzu-preisen oder auch nur zu wissen, was die richtigen sind. Einem autonomen Roboter konkrete Ziele vorzugeben, bringe uns unweigerlich in Schwierigkeiten, und zwar in umso größere, je intelligenter er ist. Ganz einfach, weil Roboter ihre Belohnungsfunktion rücksichtslos verfolgen. Im Zweifel, indem sie uns daran hindern, sie daran zu hindern.

Russells drei neue Robotergesetze

Kernpunkt des neuen Ansatzes ist folgende Überlegung: Statt Maschinen ihre eigenen Ziele verfolgen zu lassen, sollten sie ausschließlich das Ziel haben, mehr über die Wünsche der Menschen herauszufinden und diese zu befriedigen. Dass die Maschinen nie mit 100-prozentiger Gewissheit sagen können, was ihre Erbauer eigentlich wollen, nehme ihnen auf Dauer ihre Gefährlichkeit, davon ist Russell überzeugt. In seinem kürzlich erschiene-nen Buch »Human Compatible« legt Russell seine These in Form von drei »Prinzipien nützlicher Maschinen« dar. Er greift dazu die drei Gesetze der Robotik von Isaac Asimov aus dem Jahr 1942 wieder auf, allerdings mit weniger Naivität als der Sciencefiction-Autor. In Russells Version heißt es:

1. Das einzige Ziel der Maschine ist es, menschliche Präferenzen so gut wie möglich in die Tat umzusetzen.
2. Die Maschine weiß zu Beginn nicht, was diese Präferenzen sind.
3. Die ultimative Informationsquelle über diese Präferenzen ist das Verhalten der Menschen.

Im Verlauf der vergangenen Jahre haben Russell und sein Team in Berkeley sowie Gleichgesinnte in Stanford, Texas und dem Rest der Welt innovative Verfahren entwickelt, mit denen man dem Computer vermitteln kann, was wir von ihm wollen, ohne ihm alles auszubuchstabieren – und manchmal sogar, ohne dass wir es selbst wissen müssten. In diesen Labors lernen Roboter, indem sie beispielsweise Menschen bei einer Tätigkeit zu-schauen. Dazu müssen diese Demonstrationen nicht einmal perfekt sein. Der Computer lernt trotzdem. Mitunter erfindet die KI sogar gänzlich neue Verhaltensweisen. So haben die selbstfahrenden Autos einer der Forschungs-gruppen an unbeschilderten Kreuzungen die Gewohnheit entwickelt, ein Stück zurückzufahren, um anderen Autofahrern zu signalisieren, dass sie ihnen die Vorfahrt lassen. Solche Ergebnisse legen nahe, dass die KI überraschend gut darin sein kann, unsere Denkweisen und Präferenzen abzuleiten, sogar wenn wir selbst nur eine vage Vorstellung davon haben.



In Scott Niekums Labor an der University of Texas in Austin werden keine abstrakten Szenarien durchgespielt, sondern echte Roboter auf das Präferenzenlernen losgelassen. Gemini, der zweiarmige Roboter des Labors, be-obachtet beispielsweise, wie ein Mensch einen Tisch deckt: Die Person legt dazu eine Gabel links neben einen Teller. Gemini kann nun zunächst nicht sagen, ob Gabeln immer links von den Tellern liegen oder immer an dieser bestimmten Stelle auf dem Tisch; doch neue Algorithmen, die Niekum und Team entwickelt haben, er-möglichen es Gemini, das korrekte Muster nach einigen Demonstrationen zu erlernen. Die Forscher konzen-trieren sich dabei darauf, wie man KI-Systeme dazu bringt, ihre eigene Unsicherheit über die Präferenzen eines Menschen zu quantifizieren. So könnten sie abschätzen, wann sie genug wissen, um sicher zu handeln. »Wir stellen Hypothesen darüber auf, was die wahre Verteilung von Zielen im Kopf eines Menschen sein könnte und welche Unsicherheiten in Bezug auf eine solche Verteilung entstehen«, sagt Niekum. 

Kürzlich fanden Niekum und seine Mitarbeiter einen effizienten Algorithmus, mit dem Roboter lernen können, Aufgaben weitaus besser auszuführen als ihre menschlichen Demonstrationsobjekte. Es kann für ein Roboter-fahrzeug rechnerisch sehr anspruchsvoll sein, Fahrmanöver durch reine Beobachtung menschlicher Fahrer zu lernen. Doch Niekum und seine Kollegen entdeckten, dass sie den Lernvorgang verbessern und dramatisch beschleunigen können, wenn sie einem Roboter Demonstrationen zeigen, die danach sortiert sind, wie gut der Mensch sie ausführte. »Der Agent kann sich dann die Rangliste ansehen und sich fragen: ›Wenn das die Rang-liste ist, was erklärt die Rangliste?‹«, sagt Niekum. »Was passiert öfter, wenn die Demonstrationen besser werden, was passiert weniger oft?«

Die neueste Version des Lernalgorithmus, genannt Bayesian T-REX (für »trajectory-ranked reward extrapo-lation«), sucht in den Ranglisten-Demos nach Mustern, die darauf hinweisen, welchen Belohnungsfunktionen die Menschen möglicherweise folgen. Der Algorithmus misst auch die relative Wahrscheinlichkeit verschie-dener Belohnungsfunktionen. Ein Roboter, der mit Bayesian T-REX läuft, kann effizient ableiten, welchen Regeln Menschen beim Tischdecken voraussichtlich folgen oder was man tun muss, um bei einem Atari-Spiel zu gewinnen, »selbst wenn er nie eine perfekte Demonstration gesehen hat«, sagt Niekum.

(Mindestens) zwei große Herausforderungen

Russells Ideen »finden langsam ihren Weg in die Köpfe der KI-Community«, sagt Yoshua Bengio, wissen-schaftlicher Direktor von Mila, einem führenden Institut für KI-Forschung in Montreal. Deep Learning, das mächtigste Werkzeug der jüngsten KI-Revolution, könne bei der Umsetzung helfen, meint der Montrealer Wissenschaftler. Ein komplexes neuronales Netz durchsucht dabei gewaltige Datenmengen, um Muster ausfindig zu machen. »Natürlich ist da noch mehr Forschungsarbeit nötig, um all das Wirklichkeit werden zu lassen«, sagt Bengio.

Russell selbst sieht zwei große Herausforderungen. »Die eine ist die Tatsache, dass unser Verhalten so weit davon entfernt ist, rational zu sein, dass es sehr schwierig sein könnte, unsere wahren Präferenzen dahinter zu rekonstruieren.« KI-Systeme müssten über die Hierarchie der langfristigen, mittelfristigen und kurzfristigen Ziele nachdenken – über die unzähligen Vorlieben und Verpflichtungen, die uns umtreiben. Wenn Roboter uns helfen sollen (und dabei schwere Fehler vermeiden), müssten sie sich im Dschungel unserer unbewussten Überzeugungen und unausgesprochenen Wünsche zurechtfinden.

Die zweite Herausforderung besteht darin, dass sich die menschlichen Präferenzen wandeln. Wir ändern Meinungen im Laufe des Lebens, aber manchmal eben auch von jetzt auf gleich, je nach Stimmung oder Situation. Ein Roboter kann all das vermutlich nur schwer registrieren.

Außerdem entsprechen unsere Handlungen gar nicht immer unseren Idealen. Menschen können zur selben Zeit zwei Werte vertreten, die sich wechselseitig ausschließen. Auf welchen der beiden sollte ein Roboter optimie-ren? Wie vermeidet man, dass er sich die schlechtesten Eigenschaften aussucht und den dunkelsten Trieben Nahrung gibt (oder schlimmer noch, sie so verstärkt, dass er sie noch leichter erfüllen kann, wie etwa der You-tube-Algorithmus)? Die Lösung könnte darin bestehen, dass Roboter das lernen, was Russell »Metapräferen-zen« nennt: »Präferenzen darüber, welche Arten von Prozessen, die unsere Präferenzen verändern, für uns akzeptabel sind«. Ganz schön viel für einen armen kleinen Roboter!

Vom Wahren, Schönen, Guten

Genau wie dieser wüssten wir selbst zu gerne, was unsere Vorlieben sind oder was sie sein sollten. Und auch wir suchen nach Wegen, mit Unklarheiten und Widersprüchen umzugehen. Wie die ideale KI bemühen wir uns – zumindest einige von uns und das vielleicht nur manchmal – die »Idee des Guten« zu verstehen, wie Platon das Ziel aller Erkenntnis nannte. KI-Systeme könnten sich ebenfalls in ein ewiges Fragen und Zweifeln verstrik-ken – oder gleich ganz in der Off-Position verharren, zu unsicher, um auch nur irgendetwas zu tun.

»Ich gehe nicht davon aus, dass wir demnächst genau wissen, was ›das Gute‹ ist«, sagt Christiano, »oder dass wir perfekte Antworten auf unsere empirischen Fragen finden. Aber ich hoffe, dass die KI-Systeme, die wir aufbauen, diese Fragen zumindest ebenso gut beantworten können wie ein Mensch und dass sie an denselben Prozessen teilhaben können, mit denen die Menschen – zumindest an ihren guten Tagen – Schritt für Schritt nach besseren Antworten suchen.«

Es gibt jedoch noch ein drittes großes Problem, das es nicht auf Russells Liste der Bedenken geschafft hat: Was ist mit den Vorlieben schlechter Menschen? Was soll einen Roboter davon abhalten, die verwerflichen Ziele seines bösartigen Besitzers zu befriedigen? KI-Systeme sind genauso gut darin, Verbote zu unterlaufen, wie manche Reichen Schlupflöcher in den Steuergesetzen finden. Ihnen schlicht zu verbieten, ein Verbrechen zu begehen, würde wahrscheinlich keinen Erfolg haben.

Oder, um ein noch düstereres Bild zu zeichnen: Was, wenn wir alle irgendwie schlecht sind? Es ist Youtube nicht leicht gefallen, seinen Empfehlungsalgorithmus zu korrigieren, der tat schließlich nichts anderes, als sich an den allgegenwärtigen menschlichen Bedürfnissen zu orientieren.

Dennoch ist Russell optimistisch. Obwohl mehr Algorithmen und spieltheoretische Forschung nötig seien, sage ihm sein Bauchgefühl, dass die Programmierer den Einfluss solcher schädlichen Präferenzen herunterregeln könnten – womöglich helfe ein ähnlicher Ansatz sogar bei der Kindererziehung oder Bildung, sagt der Forscher aus Berkeley. Mit anderen Worten: Indem wir den Robotern beibringen, gut zu sein, könnten wir einen Weg finden, dasselbe uns beizubringen. »Ich habe das Gefühl, dass dies eine Gelegenheit sein könnte, die Dinge in die richtige Richtung zu lenken.«

Von Spektrum.de übersetzte und bearbeitete Fassung des Artikels »Artificial Intelligence Will Do What We Ask. That’s a Problem.« aus »Quanta Magazine«, einem inhaltlich unabhängigen Magazin der Simons Foundation, die sich die Verbreitung von Forschungsergebnissen aus Mathematik und den Naturwissenschaften zum Ziel gesetzt hat. 


Nota. - Der Transzendentalphilosoph Johann G. Fichte hat als Wesen der Vernunft defniert die Fähigkeit, aus Freiheit Zwecke zu setzen. Was ein Zweck ist, wissen wir: Es ist nicht allein die Voraussicht auf das Mögliche Ergebnis einer Handlung, sondern vor allem die Billigung dieser Handlung. Nicht allein das Vermögen, spontan, nämlich ex sponte sua, aus eigenem Antrieb das Ergebnis einer vorgestellten Handlung vorauszusehen, sondern das Vermögen, diese Folge zu begrüßen oder abzulehnen; ist nicht bloß die Einbildungskraft, sondern das Ur-teilsvermögen. 

In einer Welt, wo jeder freie Bürger seine eignen Zwecke setzt, wird ihr Zusammenleben zu einem Problem. Die Zwecke können und werden nach aller Wahrscheinlichkeit immer wieder kollidieren. Es bedarf eines Verfah-rens, sie mit einander zu vermitteln; direkt durch Kompromiss oder indirekt durch Zusammenfassung unter übergeordnete Zwecke. Über die zu entscheiden ist wiederum Sache eines vernünftigen Urteils, doch nicht mehr nur des Einen, sondern Aller gemeinsam. So wird idealiter der gesellschaftliche Streit zu einem systemischen Prozess vergesellschaftlichter Suche nach einem Obersten Zweck. Dies wäre eine vernünftige Ordnung, nämlich ein Rechts system. Die Idee des obersten Zwecks liegt ihr zu Grunde als eine zweckhafte Fiktion - so wie die Idee der Freiheit und Gleichheit, die Vertragsidee und - die Idee der Vernunft.

Das alles kommt bei Russell überhaupt nicht vor. Bei ihm geht es umd "Intelligenz, Rationalität, Funktionieren, Verstärkungslernen"... Unter Intelligenz versteht er hoffentlich nicht "das, was der IQ-Test misst", sondern im-merhin die Fähigkeit zu logischem Kombinieren, und unter Rationalität wird er die Fähigkeit verstehen, einen Zweck unter Einsatz geringstmöglicher Mittel zu erreichen; was Funktionieren heißt, ergibt sich daraus zwang-los von selbst, und Zweifel daran, dass es sich durch Verstärkungslernen einüben lässt, sind vernünftigerweise nicht zulässig. Doch vernünftiger Weise sind nicht erst die Schlussfolgerungen, sondern waren bereits die Ein-gangsprämissen zu... beurteilen!

Von the true objectives of the Human Kind redet Russell dann aber auch. Darunter versteht er what the humans would prefer their life to be like, das sei vernünftig und soll Maßstab werden fürs decision making in our real world. Für künstliche Intelligenz soll das ebenso verbindlich werden wie für unsere natürliche. Man kann Mr. Russell nur raten, sich an Stelle der Algorithmen doch eher den Meinungsforschern anzuvertrauen - denen ist das Problem der maschinellen Filterblasen immerhin bekannt. Über den Wert der öffentlichen Meinungen haben sie vermutlich ganz unterschiedliche Urteile. Doch immer noch besser als gar keine: Gar keine hat der Algorith-mus.
JE




Nota. Das obige Bild gehört mir nicht, ich habe es im Internet gefunden. Wenn Sie der Eigentümer sind und seine Verwendung an dieser Stelle nicht wünschen, bitte ich um Nachricht auf diesem Blog.  
JE