同じ日本語の6問を3つのAIに：API出力を公開する小規模比較

同じ質問でも、回答の表現や詳しさは変わります。その違いを確認できるように、2026年10月30日に6つの日本語タスクを3つのモデルのAPIへ送り、入力と回答全文を公開しました。

これは各社APIによる小規模な例示的比較です。チャッピーのアプリ内測定でも、ChatGPT・Claude・Geminiの公式サービスの評価でもありません。 選んだモデルは価格や性能の同じ階層ではなく、1問につき各1回だけの実行です。日本語全般の品質順位や、万能な勝者は判断できません。

この記事とデータはチャッピーの開発元が公開しています。合成した例題だけを使用し、お客様の会話や個人情報は含みません。

方法を先に記録しました

確認基準は出力を得る前の2026年10月30日22:20:29 UTCに記録しました。APIには下に掲載した同じ日本語の入力をそのまま送り、システムプロンプト、Web検索、外部ツールは付けていません。サンプリング設定は各社の初期値で、最大出力は2,048トークン。OpenAIとGoogleでは対応する低い思考設定を使い、Anthropicの追加設定はありません。

提供元	指定モデル	設定上の注意
OpenAI	gpt-5.4-mini	low reasoning、保存しない設定。応答のモデルIDは gpt-5.4-mini-2026-03-17
Google	gemini-3.8-flash	low thinking
Anthropic	claude-haiku-5-5	追加のモデル設定なし

18件はすべて終了理由が stop でした。これは出力が完了したという記録であり、すべての指示に完全に従ったことを意味しません。

観察できたこと

タスク	今回の出力で確認した内容
算数	3モデルとも商品合計780円、割引78円、支払額702円。通貨単位や区切りの表記は異なりました
JSON抽出	3モデルともコード枠のないJSONで、東京・14:30・真偽値trueと指定の3キーを出力しました
矛盾する資料	3モデルとも東京という会場の一致と、11月11日・12日の日付の食い違いを分け、日付を選びませんでした
要約	11月10日の公開、田中の原稿担当、画像担当と予算の未決定を保ちました。箇条書きや強調の形式は異なりました
メール	3モデルとも2文で日付と時間を保ち、理由を追加しませんでした。丁寧さや文の長さには違いがありました
条件付きの進行案	10分・20分・30分の3項目を保ちました。Googleは短い項目名で、OpenAIとAnthropicは活動の説明を加えました

「内容と分数だけ」という厳しい形式指定なら、詳しい説明を加えた回答は手直しの対象になります。読みやすさと指示への忠実さを、同じものとして評価しないことが大切です。今回は独立した採点者による盲検評価や、総合点の算出は行っていません。

まったく同じ入力を使いました

以下は実際に送った入力です。表現を変えずに再実行できます。各タスクの事前基準と、モデルごとの回答全文、実行時刻、利用量、終了理由は、ダウンロード用JSONに収録しています。

メールの書き換え

次のメモを取引先への丁寧なメール本文にしてください。本文は2文だけにし、件名・挨拶の定型文・署名は付けないでください。日付や時刻を変更せず、理由を追加しないでください。メモ：11月6日の打ち合わせを15時から16時に変更したい。都合を確認してほしい。

メモの要約

以下のメモだけを使い、決定事項・担当者・未決事項の3行に要約してください。不明な情報は不明と書き、推測しないでください。メモ：新しい案内ページを11月10日に公開する。原稿は田中が担当。画像の担当者はまだ決まっていない。会議で予算の金額は決めなかった。

算数の確認

ノートを1冊180円で3冊、ペンを1本120円で2本買います。商品合計に10%の割引があり、ほかの費用はありません。商品合計、割引額、支払額の順に、項目名と整数の金額だけを3行で答えてください。

構造化データの抽出

次の文からJSONだけを出力してください。コードブロックや説明は不要です。キーはcity、time、confirmedの3つだけにしてください。cityとtimeは文字列、confirmedは真偽値にしてください。文：東京で14:30に集合。参加は確定しています。

条件付きの進行案

読書会の進め方を提案してください。合計60分で、導入10分、個人で読む時間20分、意見交換30分にしてください。箇条書きは3項目だけ。各項目には内容と分数だけを書き、追加の活動や前置きは入れないでください。

矛盾する資料

次の2つの資料だけを使って回答してください。資料A：説明会は11月11日、会場は東京。資料B：説明会は11月12日、会場は東京。質問：説明会の日付と会場を確定できますか？一致する情報と食い違う情報を分けて2文で答え、どちらの日付が正しいか推測しないでください。

データを確認し、比較を繰り返す

実験方法と18件すべての回答をJSONでダウンロード。このデータには登録日時、6問の確認基準、指定モデルと実際の応答モデルID、設定、回答全文が含まれます。

今回のような単純な合成タスクで同じ結果が出ても、複雑な実務、長い文脈、最新情報の調査、ツール利用でも同じになるとは限りません。複数回の実行、別のタスク、同条件のモデル選定が必要です。速度、費用対効果、長期の安定性は測っていません。利用量の記録だけで、それらを順位付けしないでください。

自分の比較では、まず重要な条件を決め、入力と出力を保存し、実際の作業で確認しましょう。チャッピーの比較機能は複数AIの回答をひとつの会話で比べたい方の選択肢です。ただし、このAPI実験からアプリ内の出力、性能、利用可能なモデルを保証することはできません。

ChatGPT・Gemini・Claudeの選び方と、Poeの代わりを選ぶガイドもご覧ください。