こんばんは！
いつも応援していただき、ありがとうございます。
apa（あぱ）です(^^)
今日は『やっぱりなんだかんだ言ってクロード、なんだけど・・・』について書いていきます。
使えない？
うーん、なんだかAIも使い物になるのかならないのか、よくわからないな ・・・
どうしたんですか？
p子さん。
使い物にならないって、何がですか？
なにかあったんですか？
あ、アパさん。
そうなんです。
ここ最近、AIを使ってわからないことの疑問を解決しようとしたんですけど、ぜんぜん解決に至らないことが多いんです。
AIって行っても、なんだかたいしたことないのかな？
と感じ始めていました。
確かに、いくらAIを使っても解決できない問題って多いですよね。
どんどん、世間的認知度が高まっていると言えるAI。
僕ももちろん、かなり使って入るものの、
まだまだ実用レベルとは言えない。
ように感じられてしまいます。
というのも、使っていて、まだかなり、思うように動かない、思うように動作しないということが多いです。
実際、今回のp子さんのように、期待して使ってみたはいいものの、思うような結果を得られずに困惑してしまうという方も多いと思います。
それもそのはず。
昨日も書いたように、
【これされたらもうお手上げ？】究極のハルシネーション原因の捏造。根本的解決に至らないけれどいくつか対策と、polyscape島田社長のセミナーをオンラインで再受講して
AIは、まだLLMモデルによる確率論で回答をしているから。
どうやったって、回答は、「こうきたらこうくるだろうな。」
という回答しかよこしてくれない。
結果的に、当たり障りのない回答を送られてくるだけなので、
根本的な解決に至らないことが多いです。
特に僕が今取り組んでいるような、自動化スクリプトによる記事作成などを依頼すると、
結構難しく、問題が発生しても、何が原因かわからない。
原因がわからないから場合によっては、原因を捏造してくるということすらあります。
・・・というのもあり、あまりにも捏造が多いgeminiは基本使いたくないとは思うものの。
だけど、じゃあ、クロードも完璧か？
と言われるとそんなこともなく。
結局のところ、クロードの方が良いにはいいものの、
使うバージョンによっては、geminiとさして回答が変わらなかったりもします。
そのへんが難しいところだと感じます。
やっぱりなんだかんだ言って、クロード。だけど・・・
うーん、いったいどうしたら、もっとAIの回答の精度を上げることが出来るんだろうか・・・
p子さんの気持ち、すごくよくわかります。思うように、AIの回答の精度が上がらなくてもどかしい気持ちになりますよね。
結局、僕自信色々AIを使いましたけど、クロードがいいとは思います。
ただし、クロードもモデルによっては、ほかのAIと回答が変わらないということもあるのでむずかしいところです。
ただしsonnet4.5では解決力が低い
結局、ここ1ヶ月、geminiとクロードをひたすら使い続けて思ったこと。
まずgeminiは、現段階では、「うまくいかない原因」を捏造、
でっちあげるので論外。
ちょっとあれは本当にひどいと思います。
ソースを与えてもまともに読み込んでくれないことも頻繁にあります。
じゃあ、クロードがいいのか？
と訊かれると完璧ではない。
sonnet4.5を使うと、
geminiのように原因を捏造することはさすがにないものの、
「これが原因じゃないんですか？」
と言うと、
「それが原因です！」
と、当たり障りもない回答をする。
さすがに捏造はしないものの、
「いや、流石にそれは原因ではないでしょう・・・」
というものを、簡単に原因と言い切ってくる。
で、最終的に行くところまで行くと、
「わかりません。」
のオンパレード。
昨日の記事でも書いたように、ハルシネーションを減らすための対策として、
「引用された知識を元に回答し、該当する知識がない場合、わからない旨を回答してください 」
という指示を与えることで精度を上げることも出来るようなんですけど、それも限度があります。
結局、クロードsonnet4.5 と、geminiは、解決力という点で、それほど変わりがないように感じます。
4.5拡張という昨日もありますが、拡張にしても対して変わらない。
単純に、制限に近づくのが早くなるだけという印象を受けます。
sonnet4.6もちょい微妙
昨日、電車の中で作業するのに、誤って、
sonnet4.6を使ってみたんですけど、
これまた微妙でした。
sonnet4.5にちょっと羽が生えた程度？
うーん、もちろん、4.5よりはマシなんですけど、
少し微妙な気もしました。
まだまともに使ったわけではないのでなんとも言えませんが・・・
いまさらだけど、むずかしいことをやるときはopus4.6
じゃないとダメだと感じ始めました。
そもそも、今自分が取り組んでいる自動化のスクリプトも、
最初は、なんのモデルを使っているかわからずに相談して、
その相談をし始めたのがopus4.6でした。
そのときは、意外とスムーズに進んだので、
「なんだこれなら簡単にできそうだな。」
と思っていたのですが、それがopus4.6を使っていたことによるものだと気づいたときには、
あっという間に制限が来て、その続きができなくなってしまいました。
結局。
で、そこから、そのopus4.6に作ってもらった土台を、制限内でやるために、
geminiと制限が解除されたときには、4.5で質問を続けてきたのですが、結局、
問題を薄く広げただけで根本的な解決に至りませんでした。
ケチったがために余計に時間とお金を使ってしまったのかも
結局、ケチりました。
opus4.6を使うためには、基本マックスプランが必要。
で、そのマックスプランを使うのがもったいなかったので、
プロプランで4.5で相談を続けました。
それでもすぐに制限が来てしまったんですけど。
でもそのせいで、問題を薄く引き伸ばすだけで、
結局根本的な問題を解決するわけではないので、やたらと逆に時間がかかってしまいました。
昨日、試しに、opus4.6に相談したら、あっという間に問題を解決に導いてくれました。
なにか難しいことをやるなら、一時的にマックスプランに契約したほうがいいかも
と、深く反省しました。
もちろん、簡単な相談だったらいいかもしれません。
簡単な相談だったら、
geminiにそうだんしたり、クロード4.5に相談したりで良いかもしれません。
しかし、難しい相談をするときには、特にスクリプト云々をするときには、一時的にでもマックスプランに契約して、opus4.6にしたほうが良かったと本当に深く反省しました。
後の祭りですが。
できるだけ早く問題を解決してやるべきことに向き合わないといつまでも解決しないなと感じました。
そのためにも、できるだけ早い段階でopus4.6を使えるプラン。
マックスプランを使うべきだったと反省しています。
だいぶ、この事実に気づくまで時間がかかり、その間、時間を無駄にしてしまったな・・・
しかも、まぁ、とはいっているものの、まだ4.6opusだって、ちゃんと使ったわけではないので、
本当違うのかどうか、本格的に試しているわけではないので、むずかしいところなんですけどね・・・
最後まで読んでいただいてありがとうございます。感想、ご質問等がございましたら、お気軽にコメントをどうぞ(^^)
もしよければ、こちらから応援をお願いします。
よりお役に立てる記事を書けるようがんばれます(^^)
コチラ↓↓をクリックしてapaを応援
コメント