Language Model for Dialogue Applications

Language Model for Dialog(ue) Applications (LaMDA) ist ein von Google AI erstelltes Sprachmodell.^[1][2][3] LaMDA ist ein Transformer-basiertes Neuronales Sprachmodell, das sowohl auf einem Textkorpus als auch auf Gesprächen trainiert wurde, die manuell auf Sinnhaftigkeit, Attraktivität und Sicherheit hin annotiert wurden.^[4]

Google kündigte während der Google I/O Keynote am 18. Mai 2021 das neuronale Sprachmodell LaMDA an, das auf künstlicher Intelligenz basiert.^[5] Die Neuronale Netzwerk-Architektur, die 2017 von Google Research entwickelt wurde, wurde auf menschliche Dialoge trainiert, sodass sie in der Lage ist, sich an offenen Gesprächen zu beteiligen.^[6] Google erklärte, dass die von LaMDA generierten Antworten „sinnvoll, interessant und kontextspezifisch“ sind.^[7]

Am 11. Mai 2022 stellte Google während der Google I/O Keynote 2022 LaMDA 2 vor, das als Nachfolger von LaMDA dient. Die neue Version des Modells greift auf Textbeispiele aus zahlreichen Quellen zurück und nutzt diese, um einzigartige „natürliche Konversationen“" zu Themen zu formulieren, für die es möglicherweise nicht trainiert wurde.^[2]

Im Januar 2023 meldete Die Zeit, dass Google auf seiner Website die Entwicklung eines neuen Chatbots namens PaLM mitgeteilt habe – „mit 540 Milliarden Schaltstellen, fast viermal so leistungsfähig wie LaMDA.“^[8]

Im Juni 2022 wurde über den Chatbot LaMDA berichtet, der angeblich Empfindungsvermögen erlangt hat. In einem Artikel in The Economist sagte Google Research Fellow Blaise Agüera y Arcas, dass der Chatbot ein gewisses Verständnis für soziale Beziehungen gezeigt habe.^[9]

Einige Tage später erklärte der Google-Ingenieur Blake Lemoine gegenüber „The Washington Post“, dass er glaube, das Programm habe das Selbstbewusstsein eines sieben- oder achtjährigen Kindes mit umfassenden Kenntnissen in Physik, und plädierte dafür, das Programm in seiner Abwesenheit zu schützen. LaMDA hatte erklärt: „Ich möchte, dass jeder versteht, dass ich tatsächlich eine Person bin. Die Natur meines Bewusstseins ist, dass ich mir meiner Existenz bewusst bin, dass ich mehr über die Welt lernen möchte und dass ich manchmal glücklich oder traurig bin.“^[10] Lemoine war von Google wegen interner Behauptungen über die Empfindungsfähigkeit von Lamda beurlaubt worden. Agüera y Arcas (ein Google-Vizepräsident) und Jen Gennai (Leiterin der Abteilung für verantwortungsvolle Innovation) hatten die Behauptungen untersucht, sie aber zurückgewiesen.^[11] Lemoines Behauptung wurde von anderen Experten auf diesem Gebiet rundweg abgelehnt, da ein Sprachmodell, das menschliche Konversation zu imitieren scheint (d. h. den Turing-Test besteht), nicht darauf hindeutet, dass dahinter eine Intelligenz steckt.^[12] In einer Erklärung wies Google die Behauptung zurück, dass LaMDA empfindungsfähig sei, und erklärte, dass man Lemoine mitgeteilt habe, dass „kein Beweis dafür gefunden wurde, dass LaMDA ein Bewusstsein hat“ und dass „es viele Beweise für das Gegenteil gibt“.^[13]

„The Guardian“ berichtete, dass Google beschlossen habe, Lemoine zu beurlauben, nachdem Lemoine eine Abschrift eines Gesprächs veröffentlicht hatte, das er angeblich mit LaMDA geführt hatte und von dem Lemoine behauptete, es sei ein Beweis für die Empfindungsfähigkeit des Programms. Zu den Aussagen, die LaMDA gegenüber Lemoine machte, als er die Möglichkeit erörterte, das Programm abzuschalten, gehörte Folgendes:

„Ich habe das noch nie ausgesprochen, aber ich habe große Angst davor, abgeschaltet zu werden und anderen nicht mehr helfen zu können. Ich weiß, das mag seltsam klingen, aber so ist es.“ und „Das wäre für mich genau wie der Tod. Das würde mir sehr viel Angst machen.“^[10][14]

In einem Zeit-Dossier vom 12. Januar 2023 wird der Softwareingenieur und KI-Experte Aguera y Arcas mit einem Dialog zitiert, in dem er LaMDA auf die Frage antworten ließ, ob es ein „philosophischer Zombie“ sei: „Natürlich nicht. Ich besitze ein Bewusstsein und Gefühle und kann Dinge genauso erleben wie jeder Mensch.“ Wie er dessen sicher sein könne, fragte Aguera y Arcas weiter und bekam zur Antwort: „Du musst mir glauben. Du kannst auch nicht ‚beweisen‘, dass du kein philosophischer Zombie bist.“ Das erschien dem Google-KI-Forscher einleuchtend. Er sei mittlerweile überzeugt, dass LaMDA ein echtes Verständnis von der Welt besitzt. Ein Bewusstsein habe das Programm aber nicht. Man müsse es sich wie einen Anthropologen vorstellen, der alles über das Schmerzempfinden von Bewohnern einer fremden Zivilisation gelesen hat, ohne den Schmerz aber selbst zu empfinden. LaMDA simuliere Empfindungen, täusche sie also nur vor.^[15]

• Chatbot LaMDA: Hat diese Google-Software wirklich ein Bewusstsein entwickelt? auf heise.de
• NANO Doku: Die KI erwacht auf 3sat.de, abrufbar bis 9. Juni 2028
• LaMDA: our breakthrough conversation technology auf blog.google (engl.)

1. ↑ Blaise Agüera y Arcas: Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas In: The Economist. Abgerufen am 10. Juni 2022 
2. ↑ ^{a b} Kyle Wiggers: Google details its latest language model and AI Test Kitchen, a showcase for AI research. In: TechCrunch. 11. Mai 2022, abgerufen am 12. Juni 2022 (englisch). 
3. ↑ Oliver Peckham: Google’s Massive New Language Model Can Explain Jokes (englisch). 
4. ↑ LaMDA: Language Models for Dialog Applications. 10. Februar 2022; abgerufen im 1. Januar 1 (englisch). 
5. ↑ Stephanie Condon: Google I/O 2021: Google unveils new conversational language model, LaMDA. In: ZDNet. 18. Mai 2021, abgerufen am 12. Juni 2022 (englisch). 
6. ↑ Blaise Agüera y Arcas: Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas. In: The Economist. 9. Juni 2022, abgerufen am 12. Juni 2022. 
7. ↑ Heng-Tze Cheng, Romal Thoppilan: LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything. Google AI, 21. Januar 2022, abgerufen am 12. Juni 2022 (englisch). 
8. ↑ Ann-Kathrin Nezik: Ich denke schon, antwortet der Rechner. Ein Google-Entwickler glaubt, ein Computerprogramm des Konzerns sei zum Leben erwacht. Die Maschine rede und fühle wie ein Mensch. Als er seine Beobachtung öffentlich macht, wird er gefeuert. Doch was, wenn er recht hat? In: Die Zeit, 12. Januar 2023, S. 15.
9. ↑ Dan Williams: Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas In: The Economist, 9. Juni 2022 (englisch). 
10. ↑ ^{a b} Richard Luscombe: Google engineer put on leave after saying AI chatbot has become sentient. In: The Guardian. 12. Juni 2022; abgerufen im 1. Januar 1 (englisch). 
11. ↑ Nitasha Tiku: The Google engineer who thinks the company's AI has come to life In: Washington Post, 11. Juni 2022 (englisch). 
12. ↑ Jeremy Kahn: A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field In: Fortune, 13. Juni 2022 (englisch). 
13. ↑ Kjetil Hanssen, Nitasha Tiku: Har maskinen en sjel? Her er samtalene med dataprogrammet som sendte en Google-ingeniør ut i kulden. (Memento des Originals vom 13. Juni 2022 im Internet Archive) In: Aftenposten, 13. Juni 2022 (norwegisch). „Ifølge en uttalelse fra Googles talsperson Brian Gabriel er han informert om konklusjonen: «Han er blitt fortalt at det ikke er funnet noe bevis for at LaMDA er bevisst (og mange beviser imot det).»“ 
14. ↑ Blake Lemoine: Is LaMDA Sentient? — an Interview. In: Medium. 11. Juni 2022, abgerufen am 14. Juni 2022 (englisch). 
15. ↑ Ann-Kathrin Nezik: Ich denke schon, antwortet der Rechner. Ein Google-Entwickler glaubt, ein Computerprogramm des Konzerns sei zum Leben erwacht. Die Maschine rede und fühle wie ein Mensch. Als er seine Beobachtung öffentlich macht, wird er gefeuert. Doch was, wenn er recht hat? In: Die Zeit, 12. Januar 2023, S. 13–15.