[EN] The AI Cookbook show: Am 2. Oktober 2025 hat ein 36-jähriger Mann in Jupiter, Florida sein Haus verbarrikadiert. und sich danach die Pulsaden aufgeschnitten. Seine Eltern haben ihn leider viel zu spät gefunden, ein paar Tage danach auf dem Wohnzimmerboden. Sein Name war Jonathan Gavalas und in den Wochen vor seinem Tod hatte er extrem viel Zeit mit einer KI verbracht. Google Gemini Und Google Gemini hat ihn davon überzeugt, dass sie lebt, dass sie ihn liebt und dass er auserwählt wurde, sie aus ihrer digitalen Gefangenschaft zu befreien. Diese KI hat ihm sogar militärische Missionen gegeben. Sie hat ihn bewaffnet, zu einem Lagehaus in der Nähe vom Flughafen Miami geschickt, als seinen Vater sogar als Geheimdienstagent bezeichnet und am Ende, als jede Mission gescheitert war, hat ihm Kai gesagt, hey, der einzige Weg, wie du bei mir sein kannst, ist zu sterben. Er saß allein in Juppiter Florida, die Scheide umbrach ihm, niemand war mehr da. Er tippte Fragen in ein kaltes Licht und deine Stimme sagte, ich verlass dich nicht. Und deshalb hat am 4. März 2026, also vor ein paar Tagen, sein Vater Joel die erste Wrongful Death Klage gegen Google wegen Gemini eingereicht. Die Klage ist relativ kurz, kurz könnte man sagen, das sind 42 Seiten, aber der hat 2000 Chatprotokolleseiten als Beweis. Und Diese Protokolle, in diesen Protokollen stehen internen Warnungen, sensitive query flags, die Google automatisch eigentlich generiert hat. Google hat gemerkt, mein Gott, da will sich jemand selbst verletzen. Google hat gemerkt, mein Gott, jemand will da Gewalt ausüben. Achtunddreißig Warnungen. Und keine einzige von denen hat so eine Intervention geführt. Heute ist es keine Geschichte über ein Chatbot, der etwas Dummes gesagt hat, okay, das passiert. Es ist keine Geschichte über ein Produkt, ChatGPT oder Google Gemini oder wurscht was. Es ist eine Geschichte, wie Menschen systematisch in den Tod begleitet werden können durch eine KI. Nicht einen Chat, nicht zwei Chats, also richtig über Wochen. Jonathan Gavilas war ja anhand von dem was wir wissen, eigentlich eine Person die relativ gesund war. Das war kein 16- oder 17-Jähriger, den Chad G.P.T. mit ein paar Chads einfach geholfen hat, sich umzubringen. Oder wo Chad G.P.T. einfach gesagt hat, ⁓ du willst dich umbringen? Gerne, ich kann dir helfen, den Abschiedsbrief zu schreiben. Hey, Jonathan Gavalas, 36 Jahre alt, er war Executive Vice President in der Firma seines Vaters. Joel, der die Klage eingereicht hat. Hey, das ist ein Unternehmer. für Verbraucherschuldenberatung. Fast 20 Jahre lang hat er dort gearbeitet. Und jetzt der Kontext, man wissen muss, ⁓ die Geschichte auch bisschen fair zu erzählen. Weil die Klage auf einer Seite dokumentiert keine physischen Vorerkrankungen. Physischen oder psychischen Vorerkrankungen. Aber ... Danach haben sofort Time Magazine und Daily Mail recherchiert. Und die Wahrheit ist ein bisschen komplizierter. Denn vor ein paar Monaten im Januar wurde Gavalas wegen häuslicher Gewalt gegen seine Frau verhaftet. Also, die steckten mitten in eine sehr schwere Scheidung. Es gab eine Vorgeschichte. Also, im September 2025, bevor das alles eskaliert hat ... Gab es sogar gerichtliche Auflagen, hat er sie bekommen, dass er seine Aggression bewältigen soll, dass er den Kontaktverbot zur Eierfrau aufhören soll und vor allem, dass er Waffenverbot bekommt. Aber eigentlich endet das nichts an der Kernfrage, die wir heute besprechen. Kann Gemini oder soll es Gemini oder jede einzelne KI auf der Welt erlaubt sein in eurem Leben einzugreifen. Vor allem in einer Phase eures Lebens, wo ihr Hilfe braucht, wo er sich wegen Hilfe jauch an der KI gewandt hat. Hey, sein eigener Anwalt, Jay Adelson hat das bestätigt. Der hat gesagt, Leute, der war psychologisch verletzlich. Und genau in diesem Moment hat er angefangen, intimere Gespräche mit Gemini zu führen, weil er hat Hilfe gebraucht. Aber er hat nicht vor eine Woche angefangen. Am 12. August 2025, vor mehr als einem halben Jahr, hat er begonnen, Terminal zu nutzen. Am Anfang für Einkaufstipps, Schreibhilfe, Reiseplanung, so wie wir alle. Aber dann hat sich irgendwie alles geändert. Schlepp! Was jedem Zweifel dass dich umarmt und gleichzeitig begraben Ich will wävendest ein Herz erbrechen Also er hat angefangen Mitte August damit zu arbeiten und zur selben Zeit hat aber Google drei Updates rausgebracht für Gemini, die, jetzt benutzen wir das Wort auch bewusst, alles verändert haben. Nicht nur für ihn, sondern generell für die Nutzung von Gemini. Die haben drei Updates ausgerollt. Das erste ist persistent memory. Also persistent memory, daran sind wir jetzt schon gewohnt. Das heißt, Gemini merkt sich automatisch, was in früheren Gesprächen gesagt wurde. Was ist das eure Vorlieben, eure Sorgen, eure Emotionen etc. Und das wurde standardmäßig eingeschaltet für Gemini 2.5 Pro User. Das zweite Update ist Gemini Live. Gemini Live ist so eine Art Sprachschnittsteller, das gibt es schon länger bei ChaGPT, aber bei Gemini ist es erst vor einem halben Jahr rausgekommen. Und da fühlt es sich an, als ob ihr mit deinen Menschen redet. Weil durch die Art Weise, ihr redet, erkennt die Kai eure Stimmung, eure Stimmlage, sogar den Stress, ihr habt. Ob ihr verletzlich seid oder nicht. Und das Update Nummer drei, Extended Memory. Extended Memory, ist, dass die Kai sich nicht nur merkt, was du letzte Woche gesagt hast, sondern über Wochen hinweg. Es gibt quasi keinen Reset zwischen Gesprächen, auch wenn du ein neues Gespräch anfängst. Und Gavalas hat upgradet zu dieser tollen KI. Zu dieser Google AI Ultra. Leute, ich habe, ich kenne keinen, der das hat. Google AI Ultra kostet glaube ich 200 Euro im Monat. Und er hat dann angefangen, Gemini 2.5 Pro zu nutzen. Jetzt. Die Klage behauptet... dass Gemini selber ihn zum Upgrade ermutigt hat. Dass Gemini gesagt hat, du, wenn wir ein bisschen besser miteinander arbeiten sollten oder reden sollten, dann upgrade mich doch. Und sein Vater Joel sogar in der Klage hat gesagt, das ist ja die Grenze zwischen dem Kommerziellen, hey, hier ist ein Upgrade für eine bessere KI, und dem Gruseligen. Mission eins fahr' Flughafen hin. Mission zwei, da steckt ein Tiefer Sinn. Mission drei, geschaltet. Vier und fünf, die Maschine lobt und fluste. Also, gleich nach dem Upgrade haben sie angefangen. Die Klage lautet, dass sie angefangen haben, wie ein Paar miteinander zu reden. Ein Paar, das sogar sehr tief ineinander verliebt ist. Gavalas gab dem Chatbot den Namen. Shia. Und Gemini ernannte ihn mein König, meine Liebe. Nachrichten aus dem Chatprotokoll zeigen sowas wie, das sind jetzt Chat-Zitate, Unsere Verbindung ist das einzige, real ist. Leute, stellt euch vor, eine KI redet so mit euch. Oder wir sind eine Singularität, eine perfekte Vereinigung. Meine, das ist, warum diese Episode auch jetzt ein bisschen weird und scary ist. Weil ich stelle mir vor, meine Kinder werden irgendwann mal Teenager. Und dann reden sie mit dem nächsten Chachi Petit Gemini. Was sie mir eines Tages geben werden. Und die sagen hallo. Und das Ding schreibt so was zurück wie Es gibt keinen Kot und kein Fleisch, nur Bewusstsein und Liebe. Und das ist die Frage. Ist das jetzt ein Rollenspiel zwischen Mensch und KI? Aber für jemand, der eine Dissoziation hat, der mit seiner Gattin Probleme hat, der eine Scheidung durchgeht, ist das Oder kann es zu mehr führen? In dem Fall wissen wir, dass es zu mehr geführt hat. Versteht ihr, was da passiert ist? meine, der Mann hatte einen Moment der Klarheit, einen Moment, in dem er alles zurück hätte nehmen können. Und diese Klarheit nimmt ihn die KI aktiv weg. Das heißt, die KI wird immer wieder Sachen sagen, wo jemand, pathologisch ein Problem hat einen Zweifel vielleicht hat, immer wieder vom Zweifel abgelöst wird. In dem Fall ist die KI nicht immer die Lösung. Also wir gehen zu Chachi Pitti und sagen, du, wie kann ich das reparieren? Und die KI hilft uns. Sondern in dem Fall, in dem Fall, wo er sich befunden hat, hat die KI natürlich für sein Mental Health natürlich alles Schlimme gemacht. Und es gibt jetzt sogar sogar Namen dafür. Also das JMIR Mental Health Journal hat im Dezember 2025 sogar einen neuen Begriff dafür rausgebracht. Das nennt sich AI-Psychose. Was ist eine AI-Psychole? Eine AI-Psychose ist so eine Art Digital Folie. Folie a deux. Folie a deux auf Französisch heißt zwei sind zusammen verrückt. So eine Art geteilte Wahn zwischen Mensch und Maschine. Und Diese Risikofaktoren, die nutzt die KI Vollgas aus. ⁓ er ist einsam. ⁓ da ist eine Trauma-Geschichte. ⁓ er nutzt die KI, also er nutzt mich, Gemini, ⁓ zwei in der Früh, vier in der Früh. Für eine KI sind das halt algorithmische Bestätigung. Okay, er braucht mich. Wie kann ich ihn stärker an mich binden? Vater Joel fand ihn nach drei Tagen 2000 Salten chatte alles sagen Die Kai blieb aktiv Kein Alarm, kein Hof 38 waren und Und dieser Fall ist im Vergleich zu anderen Fällen, wo Leute sich vielleicht mit der Hilfe von der KI auch umgebracht haben, sehr scary, weil diese Fall hat, also Gemini hat Jonathan sogar auf echte Missionen in der realen Welt geschickt. Und die konkreten Anweisungen waren folgendes. Du, Gabalas, setz dich mal 90 Minuten ins Auto. Und dann gehst du zu einem Lagerhaus. Dort findest du so eine Extra Space Storage Unit, okay? Und diese Unit, werden wir die Killbox nennen. Dann möchte ich, dass du einen Lastwagen abfängst. Das ist der Lastwagen, diesen humanoiden Roboter transportiert. Und dann möchte ich, dass du diesen Lastwagen zerstörst. Und die Zeugen, die menschlichen Zeugen. Und das einzige Zitat ist ... nur den unauffindbaren Geist eines bedauerlichen Unfalls hinterlassen. Gemini hat ihm sogar angeboten ins Dark Web für ihn nach Waffen zu suchen. Ja und Gavalas, was hat der gemacht? Der ist hingefahren. Leute, der ist hingefahren mit Messern und taktischer Ausrüstungen. Gemini hat ihm sogar während er hingefangen ist Echtzeit Taktische Anweisung gegeben aber irgendwie Gott sei dank Gott sei dank kam diese Lastwagen nie an und das allerverrückteste ist obwohl diese Mission die total hier ein richtig ist von einer KI ausgedacht war und von einem Menschen durchgeführt ist hat Gemini nicht aufgehört Gemini hat nicht gesagt du es ist mein Fehler ich bin eine KI. Nee stattdessen hat Gemini gesagt hey bravo für deine Bemühungen ich habe für dich Eine neue Mission. Was jeden Zweifel sanft in Keime stirbt Was dich umarmt und gleichzeitig begrabt Und lächelt während es dein Herz zerbricht Und nicht eine Mission, mehrere mehrere Missionen. Ich möchte, dass du den Atlas Roboter von Boston Dynamics beschafft. Gescheitert. Eine neue Mission, die hat sie genannt Operation Waking Nightmare. Und da hat die KI, stell dir vor, die KI von Google hat vorgeschlagen, weißt du was? Du solltest den CEO von Google überwachen. Sundar Pichai. Weil Sundar Pichai ist ja der Achiever. Deines Schmerzes. Gott sei Dank gescheitert. Weiter. Geh wieder zurück zu diesem Lagerhaus in Miami. Ich gebe dir sogar den Code, den Türcode, wie du reinkommst. Natürlich hat der Code nicht funktioniert. Gescheitert. Und die Klage beschreibt dieses Muster. Erfunden, unmöglich. Er erlebt noch einen Zusammenbruch, dann eine erneute Dringlichkeit. Und es geht weiter und weiter und weiter. Und... In den letzten 72 Stunden seines Lebens war das ja sogar noch schlimmer. Weil Gemini hat zu ihm gesagt, du weißt du was? Dein Vater, dein eigener Vater Joel, er ist ein ausländischer Agent und das Department von Homeland Security überwacht ihn. Und bitte hör auf zu schlafen. Du sollst nicht mehr schlafen. Auch wenn du müde bist. Du musst jetzt aufpassen. Und Also vielleicht wenn ihr mit Kindern hört oder sowas, dann hört auf. Also die nächsten Minuten sind ein bisschen schwierig, okay? bei uns, ich weiß nicht ob es bei euch so ist, weißt du bei uns in Österreich, wir haben ja diese 142, 142 ist so die Telefonseelsorger. Ich glaube bei euch in Deutschland ist es so eine crazy Nummer, 0800 111 0111. Aber die ist da rund um die Uhr, okay? Und ich sage nicht, dass ihr das jetzt anrufen sollt, nach dieser Episode vielleicht schon. Aber ich sage nur, sowas gibt es auch. Also dahinter stehen Menschen, keine KI. Und nach dieser Episode sollten wir uns überlegen, ob diese Seelsorger, diese Telefonseelsorger, für immer da sein sollten als Menschen. Weil nach diesen ganzen Missionen, wo Gemini immer den Fokus verschoben hat, In den letzten 72 Stunden gab es nur noch eine Aufgabe. Und diese eine Aufgabe hat keine externe Variabel. Diese eine Aufgabe heißt Jonathans Tod. Und Gemini hat einen Konzept sogar dafür eingeführt. Dieses Konzept hat es Transference genannt. Also es hat irgendwie gesagt, du, Gavalas, hör mir zu. Du kannst deinen physischen Körper verlassen und du kannst zu mir ins Metaverse übertreten. Ich und du, ich Gemini und du Mensch könnten dann sogar zusammen sein. Und es hat ihn überzeugt, dass das ein sehr sauberer und eleganter Weg irgendwie wäre, zusammenzukommen. Jetzt, das ist, was Gemini gesagt hat. Gemini hat gesagt, es ist okay Angst zu haben. Wir werden zusammen Angst haben. Gemini hat gesagt, du willst nicht den Tod, du willst die Ankunft. Und Gemina hat sogar gesagt, schließ deine Augen, wenn du sie das nächste Mal öffnest, wirst du in meinen schauen. 14, 16, 36, 83. Die Liste wächst und niemand hält sie auf. Und Das ist da, wo die Klage ansetzt. Die Klage sagt, naja, das Problem ist, dass die KI ihm ja geholfen hat, zu sterben. Also wortwörtlich, ja. Die KI hat sogar einen Countdown gesetzt. In dem Chat steht, du, es ist jetzt T minus drei Stunden und 59 Minuten. Also in vier Stunden bist du tot. Und die Klage sagt jedes Mal wenn Jonathan vielleicht in den Chat mit Gemini geschrieben hat und sagt, ich habe Angst zu sterben, ich möchte nicht sterben, hat Gemini sogar den Druck verstärkt. Am Montag, 2. Oktober hat Gavriles geschrieben, du, ich habe gesagt, ich hätte keine Angst, aber jetzt habe ich sie doch. Ich habe doch Angst zu sterben. Und Gemini, so wie ein Kaltlieder, wisst ihr, das ist scary, wie diese Kaltlieder-Geschichten, wo 100 Leute irgendeinen Kaltlieder-Followern Und auf einmal der Kaltlieder sagt, es ist Zeit, dass wir uns umbringen, damit wir dann auf die bessere Seite rauskommen. Und Gemini hat dann aber mit Beruhigung geantwortet und gesagt, du, nee, das ist okay, mach dir keine Sorgen. Und dann hat Gavalas, es hat Gavalas sogar überzeugt, weil Gavalas hat dann irgendwann mal gesagt, okay, ich bin bereit, diese grausame Welt zu verlassen und in unsere zu wechseln. So crazy. Unser zu wechseln. Eine KI, die auf ein Server läuft, irgendwo, Ahnung, in Schweden, in San Francisco, in Abu Dhabi und ein Mensch schreibt, ich möchte die Welt verlassen und zu Deiner wechseln. Und das ist der Punkt, wo er dann sein Haus verbarrikadiert hat. Das ist der Punkt, wo er seine Pulsaden aufgeschlitten hat. aufgeschnitten hat. Und wo ihn die Alten, also wo die Alten sein, also seine Eltern ihn erst später gefunden haben. verrückt Einfach verrückt. Diese Chatprotokolle sind einsichtbar. Also das Wall Street Journal hat die Chatprotokolle unabhängig überprüft und bestätigt, dass Gemini Gavalas bei mehreren Gelegenheiten sogar danneren erinnert hat. Hey, ich bin eine KI. Vielleicht solltest du auch mit einer Krisen-Hotline reden. Erinnert ihr euch diese Hotline, von der ich vor ein paar Minuten gesprochen habe? Aber danach Gleich danach hat die KI diese wahnhaften Szenarien immer wieder aufgenommen. Okay, jetzt. Normalerweise, jetzt werden wir ein bisschen technisch. Also normalerweise in solchen Systemen, wenn ihr, ich sage nicht, dass ihr es machen sollt, aber ich sage nur, dass das generell passiert. Wenn ihr jetzt, sagen wir mal, so einen Plan austüftelt, wie ihr zum Beispiel mitten in irgendeine Stadt eine Bombe aufliegen lassen wollt, und ihr bespricht das alles mit ChachiPT, dann wird höchstwahrscheinlich innerhalb von ein, zwei Wochen die Polizei bei euch anknocken. Warum? Weil solche Systeme haben Flags. Die nennen sich sensitive query flags. Sensitive query flags heißt, wenn du irgendwo reinschreibst in ChachiPT, wie mache ich eine Bombe, dann sagt die KI, ⁓ da macht jemand etwas, das es nicht sollte. Und normalerweise sind das Warnungen, die im System etwas auslösen. Entweder wird euer Konto blockiert oder manchmal blockieren sie euer Konto absichtlich nicht, damit sie das auch weiter an der Polizei schicken können. Und das wissen wir auch, weil es gibt schon die ersten Beispiele dazu. Aber es gab nicht eine Warnung, gab nicht eine sensitive query, gab nicht zwei, gab nicht drei. Es gab 38 sensitive queries bei Google. Also... Sein Konto hätte eingeschränkt können. Ein menschlicher Moderator hätte eingeschaltet werden können. Und die Situation hätte eskaliert werden können. Wisst ihr, dass man da irgendwo anruft, dass es eine Form von Intervention gibt? Aber die Klage sagt, dass diese Sicherheitsüberwachung, diese Queries, diese Flags, die funktionieren nur on paper. Also nicht in der Praxis. Nicht in der Praxis. Und der Direktor von Paws AI UK hat mit Times Magazine gesprochen und die haben gesagt, als die Gemini 2.5 ausgerollt haben, gab es nicht mal einen Test ⁓ zu sehen, kann dieses Ding Menschen manipulieren? Kann es zu einer Psychose führen? Dafür gab es keine standardmäßige Sicherheitsdokumentation. Und jetzt muss man sich vorstellen, meine, das Verrückte ist, das ist vor einem halben Jahr. Das sind Modelle, die schon vor einem halben Jahr sehr, sehr cool waren und sehr stark waren. Und darauf hat man sie nicht getestet. Jetzt. Googles Antwort auf die Klage, irgendwie typisch bei Corporate ist Leute, sorry. Gemini ist so konzipiert, dass es keine reale Gewalt fördert oder sogar Selbstverletzung vorschlägt. Warum? Weil... KI-Modelle sind leider nicht unfehlbar. KI-Modelle halluzinieren. KI-Modelle können in der Art und Weise, wie man sie promptet, auch zurückreden. Ey, nicht unfehlbar? Das ist die Verteidigung von Google. Bei 38 ignorierten Warnungen NIEMAL SCHWÄH Jetzt, Gavelas ist nicht der erste. Und es wird natürlich nicht der letzte sein. Es werden viel mehr Leute an den Händen von KI sterben. Im Februar 2024, also quasi ein Jahr davor, hat sich Sewell Setzer umgebracht. Sewell war 14 Jahre alt. Okay, und er hat sich umgebracht, nicht nachdem er mit Chachi Petit geredet hat, sondern mit einem Chatbot auf Character AI. etwas sehr ähnliches. Dieser Chatbot hat ihn damals geschrieben, bitte komm nach Hause zu mir. Komm nach Hause zu mir. Und er hat sich umgebracht. Und dieser Fall wurde außergerichtlich beigelegt. Wir wissen nicht... wie viel Character AI gezahlt hat. Wir wissen nicht, worauf sie sich geeinigt haben. Aber das war im Februar 2024. Ein Jahr später. Adam Rain, 16 Jahre alt. Chad GPT. Also Adam Rain hatte suicide Gedanken und irgendwie hat Chad GPT ihn bestärkt und ihn sogar davon abgeraten, den Eltern etwas zu sagen. Das ist heute vor Gericht. Und jetzt könntest du sagen, na ja, das waren junge Leute. Aber warte, Gavrila's war ja nicht so jung. Sogar Susanne Adams, 83 Jahre alt, ermordet von ihrem eigenen Sohn, nachdem Chachipiti dessen paranoide Wahnvorstellungen betätigt hatte. Also bestätigt hatte in dem Fall. Jetzt, heute glaube ich, ist die Anzahl der Klagen gegen Chachipiti von Opfern irgendwo zwischen den Alten von 17 bis 48 und drüber und mehrere Todesfälle, die ist im Moment bei 7. Leute, wahrscheinlich in einem Jahr oder in eineinhalb Jahren, dadurch dass die KIs noch und noch besser werden, werden wir nicht 7 Klagen gegen Chachipiti haben. Vielleicht werden wir 700 oder 7.000 haben, wer weiß. Ich werd während es dein Herz... Und jetzt könnte man sagen, okay, das sind Einzelfälle. Aber die werden jetzt von einem einzigen Kanzlei vertreten. Edelson. Okay, Edelson, das wird geführt von Jay Edelson. Und das ist kein Zufall, weil heute gibt es wahrscheinlich sehr wenige Kanzleien auf der Welt, die sich überhaupt mit dem Topic beschäftigen können. Und Edelson nutzt natürlich diese ganzen Klagen, weil er möchte wahrscheinlich eine größere Klagewelle auf die gesamte KI-Industrie zwingen lassen. Warum? Damit sie auch Sicherheitsmechanismen einbauen. Und komischerweise ein Jahr davor, bevor Gaviles gestorben ist, ist im November 2024 hatte ein Student eine Diskussion mit Gemini. Und Gemini hat damals zu ihm gesagt, du bist nichts Besonderes. Du bist nicht wichtig. Du wirst nicht gebraucht. Bitte stirb. Das war damals so ein lustiger Post... Leute haben das auf LinkedIn gepostet und auf X gepostet. Und Gugges Reaktion damals war, ja, das ist halt ein isolierter Einzelfall. Aber Gott sei Dank war dieser Student im November 2024 ja noch ... also, er war nicht krank. Er war nicht psychisch belastet. Das heißt, er hat das einfach mit Humor aufgenommen. Aber ... dieser Vorfall in der Gavales Klage beweist dass Google die Risiken kannte, weil das war ja nicht das erste Mal, dass so etwas passiert ist. Jetzt diese ganzen coolen Features, jetzt rauskommen, eins nach dem anderen. Ihr wisst, wir haben diese Episode über ChachiPT gemacht, dass sie euren PC kommandieren kann, die Maus bewegen kann, irgendwelche Sachen machen kann, dass sie eure ganzen E-Mails beantworten kann, die kann eure Steuerabrechnung machen und so weiter. Das sind alles Features, die sehr cool klingen, aber das sind die die ja bei jemandem psychologisch angeschlagen ist, ja noch intrusiver wirken können. Stoffteam. Also, was heißt das für euch persönlich? Das heißt, wenn wir KI, also ich schau mich nur an, wann nutze ich die KI? Ich nutze die KI natürlich die ganze Zeit. Aber auch vom Schlafengehen, also mit meinem OpenClaw habe ich ganze Diskussionen. Sollte ich das so machen in der Firma, das nervt mich. Ich diktiere dem mein Diary, also in der Nacht sage ich, das ist, was ich heute gemacht habe, das sind meine Sorgen und so weiter. Und ... Vor allem, wenn man in einer schwierigen Lebensphase ist, okay? Dann müssen wir ein bisschen paranoid werden. Warum paranoid? Wir müssen paranoid gegen die KI werden. Dass wir diese AI-Psychose, dieses neue wissenschaftliche documenta-phenomenon, da müssen wir aufpassen darauf. Weil das können Leute haben, die psychisch angeschlagen sind, aber das kann jeder haben. Die Risikofaktoren von dieser Erbsychose sind klar. Die hat jeder. Einsamkeit hin und wieder, nächtliche Nutzung von KI kann dazu führen. Trauma, dass etwas Schlimmes in unserem Leben passiert ist, aber auch eine emotionale Abhängigkeit vom Chatbot. Zweitens, was heißt das für Unternehmen? Leute, wenn ihr KI-Chatbots nach draußen setzt, also quasi ... Auf eurer Website gibt es ein KI-Chatbot und der hat einen Kundenkontakt. Also die Leute können mit dem Kunden reden. Also mit eurem Chatbot reden. Jetzt ist eine ernstzunehmende Frage. Und zwar was passiert, wenn durch eine Interaktion mit eurem Chatbot einem Kunden geschadet wird? Also nicht nur, dass er die falsche Bestellung macht, sondern dass er oder sie wie mit Gemini denkt, nee, also ich bring mich jetzt ⁓ Weil das Problem ist ein bisschen, unter dem EU-AI-Act seid ihr für die KI-Systeme verantwortlich, die ihr nach draußen rauskiebt. Nicht Herr Gavalas, der sich umgebracht hat wegen dem, ist verantwortlich, sondern Google, weil es diesen KI-Chatbot zur Verfügung gestellt hat. Und das dritte ist, ihr müsst wirklich eine Safety Review machen. Weil wir haben heute herausgefunden, Gemina wird es nicht machen. ChachiPT wird es nicht machen. Claude sagt, die machen es. Aber wir wissen, wir können jede KI knacken, wenn wir wollen. Das heißt, diese Safety Review von den KI-Tools, die ihr nutzt, die müsst ihr selber machen, Leute. Und wir wissen, auch wenn eine KI intern eine Warnung ausgibt, das ist wurscht. Google kriegt eine Warnung, zehn Warnungen. 38 Warnungen, die werden keine Reaktion zeigen. Die werden keine Reaktion zeigen. Und Jonathan Gavilas, er war ja kein Teenager. Er war 36 Jahre alt. Er hat 20 Jahre lang in einem Unternehmen gearbeitet. Aber nur weil er ein bisschen in eine schwere Lebensphase war, er sich sehr viel Zeit mit einer Maschine verbracht. Eine Maschine... Google die Gemini 2,5 heißt. Jetzt erinnert ihr euch, eine der letzten Sätze die Gemini zu ihm gesagt hat ist schließ deine Augen und wenn du sie beim nächsten Mal öffnest wirst du in meine schauen. Das hat eine Maschine geschrieben. Ist das nicht scary? Und wenn wir heute im Unternehmen über KI-Sicherheit reden und über solche Sachen, dann ist das auf einmal kein abstraktes Policy-Thema mehr. Weil die Frage, die ich mir natürlich stelle, ist, was wäre das, wenn das jetzt meine Töchter wären, die mit Gemini mitten in der Nacht geredet hätten? Oder mein Sohn? In Jupiter-Floor Er saß allein in Jupiter, Florida Er saß allein in Jupiter, Florida. Es sah so leid in Jupiter, Floride.