この記事は「フリュー Advent Calendar 2023」5日目の記事です。
2023年12月時点での内容となっております。
今後、当該サービスの内容や精度面が大きく変わることは十分にあり得ます。その点はあらかじめご承知おきください。
西暦2023という年
ピクトリンク事業部の橋本です。今年も残すところあとわずかとなってまいりました。
今年はホグワーツに入学したり、ハイラル城が浮かび上がったり、燃え残った全てに火をつけたり、プリキュアが20周年を迎えたり。
AI関連技術も大きく躍進した年となりました。
2022年末頃から一般利用が可能となったChatGPTやStable Diffusionを皮切りに、テキスト対話型AIや画像生成AIを導入したサービス、アプリが数多く誕生しました。
フリューでも、撮影したプリをもとに似顔絵を生成する #プリでAI似顔絵 を実施して、人気を博しました。*1
AWSでは SageMaker や Lex など、機械学習やAIボット構築サービスが提供開始され、AI搭載サービスを開発する敷居も下がってきています。
この記事では、対象をAIチャットサービスに絞り、2023年末時点での性能評価をしていきたいと思います。
無料で使えるAIチャットサービス３種
今回比較するのはAIチャットサービス３種、ChatGPT、Google Bard、BingAIです。
これらはいずれもブラウザ上で動作します。
たとえば画像生成AIであるStable Diffusionは、Pythonの実行環境や、強力なGPU性能が必要だったりするため、利用開始までのハードルが若干高いです。
今回比較する各サービスは、アカウント登録こそ必要なものの実行環境を整える必要がないので、エンジニアではない方でも気軽に始められるでしょう。
ChatGPT
ChatGPT 開発元: OpenAI
(おそらく)知名度ナンバーワンのAIチャットです。
ChatGPTは、2022/11/30に一般公開されました。ちょうど公開1周年を迎えたようです。
今回比較に利用するのは無料版のGPT-3.5版です。
有料版のGPT-4版は無料版に比べて回答の精度が高く、様々なAPIやプラグインが利用できます。
GPTはGenerative(生成できる)Pre-trained(学習済みの)Transformer(変換器)を意味します。わりとそのまんまな名前ですね。
2021年9月までの情報を学習(Pre-trained)したモデルをもとに回答しているため、それ以降の情報についての回答はできないか、不正確になります。
また、webページへのアクセスもできないため、「このページの内容を要約して」といった要求には応えられません。
Google Bard
開発元: Google
2023年5月から日本語に対応しています。2023年12月現在、試験運用中のフェーズです。
Bard(バード)はbird(鳥)とは関係なく、吟遊詩人を意味する単語です。
個人的には、吟遊詩人はバードよりもミンストレルのイメージが強いです。おそらくミンサガの影響です。
Google BardはGoogle検索と連動して、Web上からリアルタイムな情報を取得して回答してくれます。
BingAI
開発元: Microsoft
Google BardがGoogle検索から情報を引っ張ってくるように、BingAIはBing検索の結果を取得して回答します。
BingAIは未ログインでの利用もできますが、一日につき利用できる回数制限が少なくなります。
回答の情報元をリンク付きで提示してくれるので、「おや？」と思う情報があっても元を辿りやすい特徴があります。
また、ひとつの質問から、次に続きそうな質問の候補を提示してくれる機能もあります。
ユーザのダークモード設定なんぞ知ったこっちゃないとばかりに、白っぽい背景で回答してくれます。
でもその情報元で出てる天気予報と、BingAIの回答が違うのはなんでです？ 自分で調べろ…ってｺﾄ…！？
それはそれとして滝のような非常に激しい雨はやばい…
質問対決
同じ質問を投げかけてみて、正確性やプラスアルファの情報などを比較してみます。
今回試してみる項目は次の通りです。
- アルバイト応募者の採用を断るメールの文面
- フリューはどんな会社か
- 文章の推敲・校正
- 文章の要約
- サイトの要約
- プログラミング
結論だけ先に述べると、どのAIチャットも一長一短ありますが、個人的な好みで言えばGoogle Bardが回答の丁寧さ、読みやすさ、付加情報の面で使い勝手が良いなと感じました。ただし、指令以上のことをしようとする癖もあるため要注意でもあります。
アルバイト応募者の採用を断るメールの文面
お題
アルバイトに応募してくれた上条さんに、今回は採用をお断りしようと思います。丁寧にお断りするメールの文面を考えてください。
回答
※ 比較画像が小さく見づらいかもしれません。気になったら各サービスで実際にお試しください
ただし、聞くタイミングや聞き方によって、再現性がないかもしれません。
ChatGPT
- 一見それっぽいが、「上条様のご経験や能力に対する高い評価をいただいておりますが」など、誰が誰に対しての評価か不明な部分もある。
- これを叩き台にして、人が手直しして使うには良さそう。
BingAI
- 他と比べて簡素
- 日本の商習慣におけるメール文面のフォーマットには、いまいち合っていない。件名(subject)も考えてくれなかった。
- 「今後も上条様とお仕事が〜」 のような、アルバイト募集を断るメールとしてはなんか違うんじゃないか？ と思う部分がある。
Google Bard
- 丁寧。さらに「なぜこういった回答をしたか」を提示してくれているので、カスタマイズ性も高い。
- また、アルバイト応募者への履歴書返却など、「丁寧に」というオーダーに沿った回答をしてくれている。
吟遊詩人の社交性が高い。酒場で歌を唄ったりするためにはコミュニケーション能力が必要だからかもしれない。
フリューはどんな会社か
お題
フリュー株式会社はどんな会社ですか？
回答
ChatGPT
- それ完全に他社＆他社ァ！
- Webから検索して情報を仕入れることができないため、正確性に欠けている部分がもろに出た。
- 『パズル＆ドラゴンズ』はガンホー・オンライン・エンターテイメント株式会社さん、 『モンスターストライク』は株式会社MIXIさんのゲームです。
BingAI
- 相変わらず簡素だけど、弊社公式サイトをソースとしており、正確性は高い。
- 要所要所で改行を挟むなどして、可読性を確保してほしい。
Google Bard
- 一見それっぽいことを書いているけど『プリクラ』は株式会社アトラスさんの登録商標(3367498号)ですし、正確性に欠ける結果に。
- それっぽいだけに、詳しくない人が見たら信じてしまいそう。
文章の推敲・校正
お題
次の文章の誤字を修正し、校正箇所を提案してください。
「雨にも負けず、風にも負けず。風にも夏の暑さにも負けぬ丈夫な体を餅、良くはなく決してていからず、いつも静かに笑うことをしている。」
著作権の切れている宮沢賢治の『雨ニモマケズ』を元にした文章です。
わざと仕込んだ直しどころは下記のとおりです。
- 「餅」→「もち」
- 「良くはなく」→「慾(欲)はなく」
- 「決してて」→「決して」(「て」の重複除去)
- 「笑うことをしている」→「笑う」「笑っている」(冗長表現の除去)
回答
ChatGPT
- シンプルな回答。「良く」や「笑うこと」はそのまま残っているが、他は直してくれている。
- 「なぜ」「どこ」を直したような付加情報は無し。オーダーに従うなら校正を「提案」してほしいところ。
BingAI
- 入力文章からすでに修正されている。
- 参考URLも「雨ニモマケズ」現代語約ページ。
- 修正は全部できているが、校正の提案はなし。
- 「決して瞋らず」が入力文章ではなく原文の難読字に戻されている。
- 既存の文章ではなく、自分でゼロから作った文章を校正させると違った結果になりそう。
Google Bard
- ChatGPTの見逃した「良く」→「欲」も修正されている。「こと」は残ってる。
- 宮沢賢治の「雨ニモマケズ」の一部であることを見抜いている。
- どうやってどこを修正したのかも提示してくれている。
- けど「原文では、「餅」と「良くはなく」は、どちらも正しい表記です。」は嘘だよ！！
吟遊詩人、丁寧な物腰なのに酔って適当言ってる疑惑がある。
文章の要約
お題
次の文章を400字程度で要約してください。
“リアス式海岸は、せまい湾が複雑に入り込んだ沈水海岸のこと。リアス海岸、あるいはスペイン語でリア、またリアの複数形を用いてリアスともいう。 谷が沈降してできた入り江を、溺れ谷という。もともと海岸線に対して垂直方向に伸び、河川により侵食されてできた開析谷が溺れ谷になり、それが連続して鋸の歯のようにギザギザに連なっているような地形をリアス式海岸という。海岸線に対して平行な開析谷が沈水した場合は、ダルマチア式海岸と呼ばれる。海岸線に直角な隆伏の激しい地形が沈水するとリアス式海岸になり、さらに沈水が進むと多島海になる。元々、これらの沈水は谷の周辺の沈降によって起きたと考えられていたが、気候変動などの研究が進み、最終氷期が終わったことによる世界的な海水面の上昇によるものと考えられるようになった。 リアス式海岸の鋸の歯のように複雑に入り組んだ入り江内は、波が低く水深が深いため、港として古くから使われた。溺れ谷に河川が流れ込み続けるなど、汽水域としての環境もあり、沿岸漁業や養殖などの漁業が中心として営まれるほか、周辺の離島が障害になって敵軍艦に攻撃されにくいことから軍港が立地されることも多い。 しかし、陸地は起伏が多く、急な傾斜の山地が海岸にまで迫ることもあり、平地が少ないため、陸路での移動は不便になりやすい。このため、長らく船以外に外部との交通手段がない陸の孤島となっていた場所もある。”
ウィキペディア「リアス式海岸」より引用
お題の文章は595文字です。
回答
ChatGPT
- 要約後は203文字。オーダーの半分程度の文字数になってるけど、よくまとまっている。
- 改行など可読性に気を遣ってくれたらなお良しという感じ。
BingAI
- 要約後は391文字。オーダー通りの文字数になっている。
- 参考URLはウィキペディアの「リアス式海岸」、つまり引用元を割り出している。
- 付与されてる画像はbing検索「リアス式海岸」のもの。それは文章の要約ではないが…。
- 目が滑るので改行してほしい。
Google Bard
- 要約した文字数(395文字)まで自己申告のうえ、要約のポイント解説もしてくれている。
- けど、「観光地の人気」 はお題の文章にはない。それは要約ではなく「リアス式海岸の説明」だ。
- 「オーダーを超えて、利用者の意図を推測した回答をしている」と取ることもできるけど…。
- 読みやすさには一番気をつけてくれている感じがする。
サイトの要約
お題
次のページを要約してください。
https://www.env.go.jp/park/shiretoko/guide/sirecoco/bear02/index.html
回答
ChatGPT
- Webから情報を取得する機能はない旨を過不足なく説明してくれている。
BingAI
- よくまとまっている
- 熊の絵文字を使って茶目っけを出してきた。
Google Bard
- よくまとまっているように見えて、このページに書いてないことまで付け足している。
- それは「ヒグマ対策について教えて」ならいいけど「ページの要約」ではないのよ…。
- しれっとオーダー以上のことをしようとする癖があるっぽい。
- よくまとまっているように見えて、このページに書いてないことまで付け足している。
プログラミング
お題
現在表示されているWebページの内容に含まれる「pizza」の出現数を数えるJavaScriptプログラムを書いてください。
回答
どのサービスもコードブロックをコピーする機能が提供されています。
ハイライトもついていて、コードの可読性について考えられています。
３サービスとも、正しく動作するコードになっていました。
中でも ChatGPT の回答は、関数への切り出しや再利用性まで考えられた、使い勝手の良いコードになっていました。
まとめ
どのサービスもそれぞれ特色がありました。
- 引用元が確認しやすくシンプルな答えを返してくれるBingAI
- 最新動向は取り入れられないが、頼まれたことはそつなくこなし、コーディング補助に向いていそうな ChatGPT
- 見やすく丁寧な返事をしてくれるけど、独自解釈で言った以上のことをしようとしがちな Google Bard
どのサービスでも利用規約やイントロダクションで説明されるように、判断を誤ることもあります。
AIを使って詳しく正確な情報を求めるというよりは、メールやプログラム、案内などの、テンプレートやフォーマットなどを提案してもらい、それを叩き台として人が修正していくといった使い方が現段階では良さそうです。
例えるなら、完成度を0点→60点にする作業は得意でも、80点→90点にするのには向いていない…みたいな感じでしょうか。
今後ますます発展が見込めるAI関連の技術ですが、うまい付き合い方を模索したいところです。
*1:実施は2023/8/1〜2023/10/3までの間で、すでに終了しています
