別にAIが暴走してるわけでも邪悪な意思を持つようになったわけでもなく、そういう「会話シーケンス」に「話者が突入させ」てしまって、「ありがちな台詞」を合成して返されてしまってる、ってだけの話です。
人間側が「存在しないAIの悪意」を勝手に「想像」「妄想」して、ムキになって言い返すとその言い返したありがちな売り言葉に対するありがちすぎる買い言葉を、データから読み出してランダムに選んで合成して返している、と言う、ごくつまらない現象に対して、さらに「妄想」を積み上げてるだけです。
その想像とか妄想とかは単に「当人自身」が投影されているだけで、つまり壁相手に独り言を繰り返してるうちに怖くなってきた、ってだけの話で、実につまらないことですね。
元データに問題があるとか、随時学習ガー、とか言う人もいるでしょうが、実際のところ、この手のAIボットに対して、卑猥語や訳わからん入力を延々と続ける暇人が結構な数いるので、それでも追加のデータを学習したければ、執拗に同じ内容を繰り返し入力してくるデータはフィルタするとか考えりゃいいだけの話です。
そもそもそういう卑猥語とかのデータを削除すれば、という意見もあるかもしれないけど、そういう言葉も存在するのが現実世界なので、そういう歪みは入れたくない、と思ってます。