こんばんは！
いつも応援していただき、ありがとうございます。
apa（あぱ）です(^^)
今日は『ハルシネーション対策について考える』について書いていきます。
ハルシネーションが止まらない
うーん、なかなかハルシネーションって止まらないな・・・
どうしたらいんだろう？
どうしたんですか？a子さん。
ハルシネーションがどうとかって、なにかあったんですか？
あ、アパさん。
そうなんです。
ここ最近、ハルシネーションについてあれこれ考えるようになってしまったんです。
ハルシネーションって結構いろいろあると思うんですけど、何をどうやってもハルシネーションが発生する、事が多いので、いったいどうしたら、このハルシネーションを防ぐことが出来るのかな？
と考えていたんです。
なるほど・・・
確かに、AIにおけるハルシネーションの発生を防ぐのは結構厄介な問題だったりしますよね。
ハルシネーション対策。
これを考え始めたのは、ちょうど、昨日のpolyscapeさんのオンラインセミナーを受講したのがきっかけ。
GMO主催、Polyscape Inc.島田社長のハルシネーション勉強会。ハルシネーションをなくす4つの対策。【ハルシネーションは犬の小便？】
こちらのセミナーが昨日、オンラインで行われていたので、そちらを見ていて改めて思いました。
内容は、上記のリンク先のときにやったのと全く同じ内容。
以前受けたのと同じ内容でした。
ただ今回は、オンラインの割にちょっと声が小さいなと思ったのが気になったのですが、
まぁ、それはともかく、
内容はやはりハルシネーションについての話。
うーん。
ハルシネーション。
結局、あまり具体的なことは話されていないんですよね。
セミナーの内容を要約？すると、最終的にハルシネーションを防ぐためにはどうしたらいいか？
というと、究極的には、
「ワンバイワンで対応していくしかない。」
ということ。
ひとつひとつの問題に向き合って対策をしていくしかない。
とのことでした。
・・・うーん、それ、すっごく失礼なことを承知であえて書くと、
当たり前のことなんですよね・・・
ワンバイワンで対応していく。
ひとつひとつに向き合って対応していくというのは、あえて言われるまでもないことなんですけどね・・・
でも、他のいくつかの内容はとても役に立ったので参考にしつつ。
あらためて今回、ハルシネーションについて考えてみたいなと思いました。
昨日、AIで作業していて、発生した究極のハルシネーションについても書いていきます。
ハルシネーション対策について考える
たしかにハルシネーションって難しい問題ですよね。簡単に防げる問題でもないですしね。
そうなんですよね。
いったいどうしたら、AIのハルシネーションって防ぐことが出来るんだろう・・
結局のところプロンプトで指示を与えつつ、極力ハルシネーションが多いAIは使わないというのが一番無難だと思います。
まずは昨日のセミナーで習ったことを混じえつつハルシネーション対策について考えていきます。
リフレクションモデルを作るのがいいらしい
まずは、リフレクションモデルを作るという話。
つまり、ハルシネーションが発生するのは、
「確率論だから」というもの。
犬も歩けば・・・棒に当たる。
むかしむかしあるところに・・・
と、常套句が続くように作られているに過ぎない。
高質問されたらこう返すのが正解というのを、見つけて回答しているに過ぎない。
だからこそ、ハルシネーションが起こる。
・・・らしい。
ではどうするか？
ハルシネーションを起こさないでと行ったところで、
確率論で回答を出しているに過ぎないのだから、
AI自身、なにがハルシネーションなのかわかっていない。
検索して回答を出させるしかない。
でも検索をできないAIを使っているときはどうするの？
というのがリフレクションモデルの作成、という話。
リフレクションモデル。
つまり、回答の間に一枚別のAIをかませるという話。
Aという質問に対して、
Cという回答をする間に、
Bという検索エンジンを出来るAIを噛ませて、回答を吟味させる。
最終的に、検索結果を混じえたCという回答を出すという話。
それがひとつのハルシネーション対策みたいです。
なるほど。
以前セミナーを受けたときにはこのリフレクションモデル。
よくわかってはいなかったのですが、
確かにそれならうまくいきそうですね。
しかし、このリフレクションモデルを構築するのに、また膨大な時間を要することになるので、
今は自分の中ではお預けかな、という印象。
結局確率論だから
結局さっきも書いたんですけど、AIがハルシネーションを起こすのは致し方ないことみたいです。
なぜなら確率論だから。
確率論で回答を出しているに過ぎないから。
設定はテンパーチャーとTOP-Pを変更して対策
次に設定の話。
結局確率論に加えて、AIに対して創造性を許可してしまうと、
それによってもさらにハルシネーションが加速してしまう。
だから、極力創造性を減らすのがいいらしい。
結局、設定、においては、
テンパーチャーは1
TOP-Pは0.1
あたりにしておくのが、設定面で創造性を減らしてハルシネーションを減らす対策として使えるらしいです。
・・・しかしあくまでも小手先の対策で、それほど効果が期待できるわけではなく、
「やらないよりやったほうがいい」
程度のニュアンスらしいです。
・・・しかしこうした、テンパーチャーやTOP-Pって、AIスタジオ以外で変更できるんでしたっけ？
プロンプトで指示
あとはプロンプトで指示を与える
「引用された知識を元に回答し、該当する知識がない場合、わからない旨を回答してください 」
という指示を与えて指示を出すと、ハルシネーションが防ぎやすくなる、らしいです。
まぁ、確かにやらないよりはやったほうがいいかもしれませんが、これも完璧に防げるというわけではないんですよね。
なぜなら昨日、僕自身とあるハルシネーションにぶつかったから。
究極のハルシネーション
昨日発生した究極のハルシネーション。
「そんなハルシネーションが発生したら、どんな方法を選択してももう、お手上げだよ！」
というもの。
原因をでっち上げてくる
原因をでっち上げてくることがあるというもの。
昨日、スクリプトを動かしていて、
とあるエラーが発生したので、
「この原因を調べてください。」
と言ったところ、
「〇〇行目にある〇〇という指示が原因ですので、こう治してください。」
とのアドバイスが。
だけど、実際にコードを見てみても、そんな指示が見当たらない。
「あれ？」
と思ったものの、再度質問して、もう一度別のアドバイスをくれるものの、
それもコードの中に見つからない。
「あれ？」
何度繰り返しても、見つからない箇所を修正指示してくる
もちろん、
「引用された知識を元に回答し、該当する知識がない場合、わからない旨を回答してください 」
と言っているにも関わらず・・・
これってひょっとして、
「原因を捏造している？」
と気づいたときにはすでに多くの時間を無駄にしていました。
厳密には上記のやり取りは、geminiで昨日発生したトラブルでしたが、
振り返ってみると、くろーどでも発生します。
しかしクロードの場合は、複数回そうした遣り取りをした時点で、
「わかりません」
と回答します。
まだ、許せるのですが、geminiは、それに気づかずに、
捏造を続けてきます。
そりゃあ、解決理由がありませんよね。問題が。
ということで、geminiは本当に扱いに注意が必要だと感じました。
最後まで読んでいただいてありがとうございます。感想、ご質問等がございましたら、お気軽にコメントをどうぞ(^^)
もしよければ、こちらから応援をお願いします。
よりお役に立てる記事を書けるようがんばれます(^^)
コチラ↓↓をクリックしてapaを応援
コメント