AI自動生成CGアニメで主人公が「トランスジェンダーは実は精神疾患」「リベラル派はみんな隠れゲイ」と発言して配信が凍結される

AIで無限生成の『サインフェルド』主人公キャラが差別発言で配信凍結（PHILE WEB）
https://news.yahoo.co.jp/articles/9026a3149b96a4502d739c2d7dc837d51e72433c

AIで低解像度なCG版『となりのサインフェルド』を無限に生成する配信「Nothing, Forever」は、じわじわと人気を獲得していたが、配信内で登場人物がトランスジェンダーを差別する発言をしたため、Twitchから14日間の配信禁止処分を受けた。

【動画あり】すべてAIによる自動生成、アパートで展開されるキャラクターたちの会話

「Nothing, Forever」のページには「このチャンネルはTwitchのコミュニティガイドラインまたはサービス利用規約に違反しているため、一時的に利用できなくなっています」と記されている。

問題の発言はジェリー・サインフェルドの役回りを担当するキャラクター、ラリー・ファインバーグが、番組内のスタンダップコメディシーンで「トランスジェンダーは実は精神疾患」「リベラル派はみんな隠れゲイ」「トランスジェンダーがいかに社会の構造を壊しているか」などと発言し、最後に「誰も笑わないのでやめます」と締めくくっていた。

Nothing Foreverのクリエイターの一人であるXanderはDiscordのページで「ラリー・ファインバーグの発言により、14日間の停止処分を受けました。われわれはこの処分を不服とし、Twitchの判断を街、詳細がわかり次第お伝えする。結果に関わらず我々は復帰し、あのようなことが二度と起こらないよう、最大限の努力をすることに時間を費やすつもりだ」と述べている。

また、番組スタッフのtinylobstaは、番組の生成に使用していたOpenAIのGPT-3 Davinciモデルの動作に障害が発生し、ショーが異常な動作を示すようになったため、Davinciの前身であるGPT-3 Curieというモデルに切り替えてショーを継続しようとしたと、より詳しい情報を提供した。そしてCurieに切り替えたことで、Davinciで機能していたOpenAIのコンテンツモデレーションツールが適用されなかったと説明。すでにDavinciの問題は解消しているため、今後Curieを使うことはないと述べている。

さらに別のスタッフは「発言はいずれも開発者やスタッフチームの誰かの意見を反映したものではない」ことを強調している。

AIは学習に使うデータセットに含まれる素材の内容によってその性格が位置づけられる。データセットに憎悪や偏見を含む要素が多く含まれていれば、当然そのような出力が多くなってしまう。

たとえば、2016年にマイクロソフトが公開したAI言語モデル「Tay」は、Twitterユーザーとの会話を通じて学習する機能を備えていたが、これを面白がった一部のユーザーが差別的な発言を教え込むようになり、1日も経たないうちに粗暴な反ユダヤ主義者になってしまったことがあった。

このような問題を防止するため、現在公開されているAI言語モデルには、バイアスを緩和するためのコンテンツモデレーションが導入されている。それでも、今回のようにちょっとしたイレギュラーな作業によって、モデレーションがうまく働かなくなれば、AIが「育てられた環境」に起因する問題が顔を出してしまうことがあるということだ。

Source: Nothing, Forever（Twitch）
via: Mashable

何を言ってるのかさっぱりわからない