初心者におすすめ、Open LLMを比較できるサイトでAIとチャットして遊んでみた

Chat GPT以外に無料でAIとチャットを使用できるサイトがないか調べていたところ、ちょうどいいサイトがありました。

「Vicuna」や「Koala」などで色々と質問して遊んでみました。

この記事の対象

チャットボットアリーナとは

「チャットボットアリーナ」とは公開されている大規模言語モデルを比較できるサイトになります。

「Vicuna」「Koala」「OpenAssistant」「Dolly」などを簡単に試せるサイトになっています。ちなみに商用利用はできないようです。

Chatbot Arenaで比較

Chatbot Arenaで言語モデルを比較してみました。日本語が使えないものもありますが、以下、比較してみた結果です。

Vicuna vs Koala

日本語で「決め台詞を考えて下さい。」と聞いてみました。パラメータは「Temperature = 1」「output tokens = 1024」で行いました。

どちらも微妙な回答でした。

Vicuna vs Alpaca

次は英語で「Please teach me English!!」と聞いてみました。

「Vicuna」の方は英会話例を提示してくれました。逆に「Alpaca」は英語の勉強方法を提示してくれました。

Vicuna vs Dolly

次は、英語で「what is japanese anime?」と聞いてみました。

Vicunaはそれっぽい説明をしてくれています。逆にDollyの方はシンプルな回答となりました。

Vicuna vs LLaMA

次は英語で「Please make a fantasy story」と聞いてみました。

Vicunaはしっかりと物語を作成してくれました。LLaMAはどこからか冒頭部分を持ってきた感じになりました。

最後に

使用してみたところ、やはり日本語の精度は「Chat GPT」が1番安定感があり、使用しやすいと感じました。「Vicuna」はGPT-4の品質90%以上を謳っている事もあり、ある程度の安定感がありました。

Chat AI系は賛否両論あると思いますが、個人的にはじゃんじゃん使用して人がする必要の無い事は代替していく方が良いと思っています。

また面白いサイトがありましたら、紹介していきます。