こんばんは！
いつも応援していただき、ありがとうございます。
apa（あぱ）です(^^)
今日は『昨日のGMO勉強会の復讐』について書いていきます。
今日はちょっと特別編。
昨日、GMOが主催するAI勉強会があって、
ソレに参加してきたので、その、レビューというか学びの報告をします。
正直、昨日参加した時点では、難しい言葉や内容が多すぎて、とても理解できなかったんですけど。
そのため、当初の予定では今日のブログはいつものように会話調で展開しようと考えていたのですが、
理解できないなりに、がんばってメモをしていたんですけど、
そのメモを今日、見返してみたら、意外と書くことが満載になりそうだったので、
やはり今回はいつもの会話調をやめて、昨日の学びをまとめて書こうと思います。
結論から言うと、結構勉強になりました。
GMOのハルシネーション勉強会
昨日参加してきたのは、GMOのハルシネーション勉強会。
こちら。
このGMOの勉強会は毎週金曜日に開催されているのですが、興味あるテーマの時とそうでない時があるので、参加するときとしない時があるのですが、
今回はテーマが「ハルシネーション勉強会」とのことだったので、参加してきました。
正直、途中までは、「渋谷まで行くの面倒だな。」
と出席を諦めようかとも思ったのですが、結局行くことにしました。
行ってよかったです。
しかし19時開催で18時55分頃、会場についたのですが、だれも、エントランスにおらず、
エントランスで待ちぼうけを食らう羽目になってしまいました。
（GMOのオフィスはほんとうに入隊場が厳しい）
で、連絡先に連絡しても繋がらなかったので途中で帰ろうかと思ったのですが、
なんとか連絡が繋がって入ることができました。
行ってよかったです。
Polyscape Inc.島田社長の話し
会場について、最初の頃は、GMOの島さんのお話で、途中から参加して、
もう終わり間際での話なので、正直、ほとんど内容はわかりませんでした。
その後の、Polyscape Inc.島田社長の話しはとても参考になりました。
その内容を、可能な限りここでシェアします。
さっきも書きましたが、正直、難しすぎて大概は何を言っているか、理解できませんでした。
とりあえず、わかったこと、参考になったことだけをポイントで書いていきます。
AIは確率論に過ぎない
まずは、AIとはなんぞや？
という話から。
結論から言うと、確率論に過ぎないという話。
あ、そうそう。
この話をしてくれた、Polyscape Inc.の島田社長は、
2016年にAIの博士号を取得したんだとか。
すごい・・・
懇親会に行くエレベーターの中で質問したら、
なんでももう、2016年からAIが走り始めてそのときに興味を持ち始めて、
AIの博士号を取得したらしいです。
先見の明がすごいですね・・・
まぁ、正直、AIの博士号がどれだけすごいのかはあまり良くわからないのですが、話の内容そのものはとても勉強になりました。
AIは確率論に過ぎない。
なるほど・・・
それなら、意味のわからない回答をするのも、納得できるかもしれない。
AIのなんたるや。
なんとなくは、頭の中でわかっていても、
実際には、言葉では理解できていませんでした。
AIは、要は確率論なんですね。
ハルシネーションが起こるのも、ただの確率モデルに過ぎないから
とのことでした。
ハルシネーション。
いわゆる論理的矛盾。
・・・のことだと思っているのですが、それも、
AIは確率モデルにしか過ぎないから。
ソレ以上のことは生成できないから、とのことでした。
例えば、
「犬も歩けば・・・」
という言葉を与えられたら、
「棒に当たる」
というのが確率論。
普通、「犬も歩けば」と尋ねられたら、
「棒に当たる」というのが当たり前の回答ですよね。
AIは要は、そういう確率論の集約に過ぎないという話でした。
だからハルシネーションも確率論の結果発生するのだと。
・・・言葉ではわかっても論理的には理解できていませんが(笑)
要は、
学習データの確率の高いものを連続して紡いでいるに過ぎないから
とのことでした。
学習データの集約の中で、
これがもっとも「回答として適しているだろう」
というものを、連続的に紡いでいるに過ぎないから、
とのことでした。
なるほど。
たしかにそれは納得がいきます。
いわゆる、もっとも無難な回答をしているに過ぎないということですね。
そう考えたら、AIの回答に信頼を置きすぎるのはかなり危険に感じますね。
確率モデルとしては犬が小便をしているのと同じくらいの現象
とも言っていました。
すごい表現。
生成エーアイがLLMである限りハルシネーションはなくならない
らしいです。
まぁ、正直。
LLMがなんなのか、いまいち理解しきれていない部分があるのですが、
とにかくそういう、確率論を採用しているモデルである限り、
ハルシネーションがなくなることはないとのことでした。
ハルシネーションをなくす対策1：ラグの精度を上げる
次に、ラグの精度の上げ方として、以下の2つの方法を提唱されていました。
TOPを下げる
テンパーチャーを下げる
これらが、ラグの精度を上げてハルシネーションをなくす対策の一つとしてあげられるみたいです。
わかる方はこれでわかるのでしょうか？
まぁ、とにかくできるだけ、ハルシネーションをなくしたいのであれば、
TOP-Pとtemperatureを減らすほうがいいみたいです。
ハルシネーションに悩んでいる方は取り入れてみてください。
ハルシネーションをなくす対策2：一個一個原因を見つけて対策
これはまぁ、正直、言うまでもないことだとは思いましたけど、
これが大きいみたいです。
ハルシネーションを起こしている原因をひとつひとつ見つけて、
それで対策を立てていく。
何がハルシネーションの原因となっているのか、
その引き金を一つ一つ見つけて、対策としていくしかないみたいですね。
ハルシネーションをなくす対策3：プロンプトの工夫
次に、ハルシネーションをなくす対策として3つ目。
プロンプトの工夫を上げられていました。
引用された知識を元に回答し、該当する知識がない場合、わからない旨を回答してください
これをPromptに与えておくと、ハルシネーションを減らせるみたいです。
なるほど。
確かに、これ、懇親会のときに質問したときも言っていました。
AIにデータを与えて、ソレをもとに回答させるようにしたほうがいいとのこと。
確かに、notebooklmなんかはその傾向が強くまさにそのとおりなのかもしれません。
うん。
さっそくノートブックLMにそのプロンプトを与えてみました。
ハルシネーション対策4：リフレクションモデル
正直この辺り、ほとんどぼくの知識では理解できなかったんですけど、
懇親会で聴いた話も含めて書くと、
リフレクションモデルを導入することで、改善することがある。
つまり、difyとかそういうモデル。
そういうモデルを入れることで、つまりメインAIとは別にリフレクションモデルを形成することで、
「こいつが本当に正しいことを言っているのかチェックさせる存在」
を導入することで出来るようになるみたいです。
ハルシネーション対策が。
まとめ
で、まとめ的には、
ハルシネーションは現行のAIが、LLMモデルである限りはなくならないみたいです。
ただ、減らす方法はある。
闇雲に変えても変わらない。
プロンプトを単純に変えるだけではダメ。
ログの中でどこに問題があるのか、どこが悪いのか原因を突き詰めて、
その原因に対して、適切に手を打つ必要があるとのことでした。
とても勉強になり、また次回開催してほしいなと思いました。
最後まで読んでいただいてありがとうございます。感想、ご質問等がございましたら、お気軽にコメントをどうぞ(^^)
もしよければ、こちらから応援をお願いします。
よりお役に立てる記事を書けるようがんばれます(^^)
コチラ↓↓をクリックしてapaを応援
コメント