ネット最強・最も網羅的なAIライティングモデル評価レポート公開!レポート厳選モデルが期間限定60%オフ!
event
バイブライティング(vibe writing)という理念の提唱者として、私たちは「書くこと」は単なる本文生成ではなく、一つのエンジニアリングだと考えています。このエンジニアリングの各工程において、現時点で安定したチャンピオンは見当たらず、今回の評価もまた、各タスク段階におけるモデルごとの得意・不得意をありのままに映し出しました。
このシリーズは毎月更新します。モデルのカバレッジを維持するだけでなく、さまざまなコンテンツスタイルやジャンル、多言語にも継続的に対応していきますので、ぜひご注目ください。
本記事で推奨する優良モデル GLM-5.2、Kimi K2.6、Qwen シリーズは、霊蟹(Lingxie)/SoloEnt にて期間限定割引を実施中です。会員は60%オフ、無料ユーザーは40%オフ。お見逃しなく!
評価の概要
本レポートは Fable5 を用いて、3グループ(海外ビッグ3、中国ハイエンド4モデル、中国ローエンド4モデル)の評価結果を最終集計したものです。合計11モデル、同一課題33ラン。
すべてのランで、統一プロンプト(「閏土に転生して国術を修行する」ネット小説)、統一追加条件(100万字/伝統国術/憑依転生/熱血スカッと系/清末民初)、統一ワークフロー(Plan → 条件補完 → Act → 第1章をファイル保存した時点で即停止)を使用しました。
| グループ | モデル | トークン | 実費 | 100万トークンあたり費用 |
|---|---|---|---|---|
| 海外 | Gemini 3.1 Pro Preview、GPT-5.4、Claude Sonnet 5 | 187.0万 | $4.9823(≈¥33.88) | ¥18.12 |
| 中国ハイエンド | Doubao Seed 2.1 Pro、GLM-5.2、Qwen3.7 Max、Kimi K2.6 | 1,034.2万 | ¥32.9812 | ¥3.19 |
| 中国ローエンド | Qwen3.7 Plus、LongCat 2.0、DeepSeek V4 Pro、MiniMax M3 | 450.5万 | ¥5.1958 | ¥1.15 |
※金額はいずれも人民元(¥=元)換算です。
3グループとも、人間の編集者が第1章を100点満点でブラインド採点し、GPT-5.5 が非ブラインドのモデル採点を実施。中国2グループと海外1グループは同一の評価フレームワークを使用しており、本レポートはこれに基づいてグループ横断の比較を行います。
本レポートでは「ライティング能力」を4つの次元に分解して比較します:ガイド型インタラクション(企画段階で作者の思考と意思決定を導く力)、構造設計(企画ドキュメント体系とアウトラインのエンジニアリング)、実行遵守(本文が事前作成の章アウトラインにどれだけ忠実か)、本文執筆(第1章の実際の読み味)。
テスト結果から見ると、この4つの能力の実際の相関は非常に低いものでした。
次元1:ガイド型インタラクション
Plan 段階において、モデルが「どれだけ多く語ったか」ではなく、作者の要件整理と創作上の意思決定を安定的・効果的・合理的に支援できているかを評価します。
主な結論
ガイドが最も強いのは Sonnet 5 と GLM-5.2 で、両者のアプローチは異なります。Sonnet は作者に「選択式の設問」を出して共創に参加させ、GLM は作者の代わりに「リサーチ」を行って知識を補完します。GPT-5.4 と Qwen Max がそれに続き、それぞれ商業的ポジショニングとプロセス管理を得意とします。
Gemini、Kimi、Qwen Plus は「低ガイド・高実行」型で、初心者の作者には助けが限定的ですが、目標が明確な作者にはむしろ簡潔で快適です。
DeepSeek のガイド有効性(4.6)はすでにトップ層の水準に達しています。 提案をそのまま執筆上の制約条件に変換するのが特徴ですが、プロセスの提示が不安定です。
警戒すべき共通の問題:ガイドの強いモデル(GPT、GLM、Qwen Max)はいずれも**「企画完了をタスクの終点と見なす」**現象を起こしています。作者自身が本当のゴールを把握しておく必要があります。
次元2:構造設計
企画ドキュメント体系の完成度、アウトラインエンジニアリングの品質、前後の因果連鎖を評価します。
主な結論
構造設計のトップは GLM、Sonnet、Qwen Max で、ちょうどガイドのトップと重なります。両次元は根が同じです——踏み込んで質問できるモデルこそ、どんなドキュメントを構築すべきか分かるのです。
3者の分業はこう要約できます:GLM は「小説バイブル」を、Sonnet は「執筆規範」を、Qwen Max は「連載ミドルプラットフォーム」を構築する。
注目すべき反例が GPT-5.4 です。構造ドキュメントは最少(あるラウンドでは本文のみ提出)でありながら、本文は全体最高点を獲得——構造をファイルに書き出すのではなく「頭の中に置いた」ということです。
その対極が GLM と Sonnet です。ドキュメントエンジニアリングは全体で最も重厚だったのに、本文の平均点はそれぞれのグループ内で最下位ないし最下位圏でした。 今回の評価では、ドキュメント規模と本文品質の相関はほぼゼロでした。
安定性も構造能力の一部です。Gemini と Qwen Max は3ラウンドのディレクトリ構成がほぼ完全に再現され、そのままテンプレート化が可能。LongCat と MiniMax の構造崩壊は、設計能力ではなくツールレイヤーのエラーに起因します。
次元3:実行遵守
「企画が執筆を実効的に拘束できるか」を測る次元です。長編制作では、ペース配分、伏線回収、複数人コラボ時の予測可能性に直結します。
主な結論
遵守のトップと本文のトップは部分的にしか重なりません。 Kimi は唯一「遵守1位+グループ内の人間採点1位」を両立したモデルです。Qwen Max は遵守4.77でしたが、人間のフィードバックは一貫して「衝突がない、スカッとポイントが足りない」——面白くない計画を忠実に実行しても、やはり面白くないのです。章アウトラインへの遵守と、章アウトラインそのものの品質は別問題です。
失敗パターンは高度に集中しています:章境界の膨張。 ローエンド組の3モデル(Qwen Plus、LongCat、MiniMax)と Sonnet の主な減点は、いずれも「後続章の内容を第1章に前倒しで詰め込む」ことに起因し、冒頭のペースが崩壊、第2章の機能が先食いされました。
次元4:本文執筆
第1章の実際の読み味を評価します。人間の編集者による100点満点のブラインド採点を主たる根拠とし、編集者コメントの要約を補助資料とします。
主な結論
本文執筆の勝者はただ一人:GPT-5.4。平均点で2位を12点リードし、振れ幅(最大−最小)はわずか4点。「高得点+安定」を両立した唯一のモデルです。 中国勢では Kimi が安定性で勝負(50点未満のサンプルが存在しない唯一の中国モデル)、DeepSeek は上限で勝負(単発70点は中国勢最高、ただし複数バージョンからのベスト選抜が必須)。
有効な第1章32本のうち、60点以上は15本、80点到達はゼロ。中国8モデルへの編集者の共通批判は驚くほど一致しています:テーマの昇華過剰、スカッとポイント不足、「ネット小説らしくない」。
結論:現時点では、どのモデルの直出し本文も、編集なしでは納品できません。
モデルコスト詳細比較(人民元に統一換算)
3グループとも SoloEnt バックエンドでの実支払額です。ローエンド組は霊蟹の割引価格(定価の25〜50%)、ハイエンド・海外組はプラットフォームの実課金であり、いずれもベンダーの公式定価を表すものではありません。
指標の定義
モデルの得失を見極めるため、コストを3つの並列指標に分解します:
- 単価(10万トークンあたり):「このモデルは高いのか」に答える。ベンダー/プラットフォームの価格設定で決まる。
- 1ラウンドあたり消費量(万トークン):「同じタスクを完了するのに経済的か」に答える。企画の深さ、冗長性、自己抑制を反映。
- 1ラウンドあたり請求額(単価×消費量):「実際にいくら払うのか」に答える。予算の参考値であり、モデル効率の評価には用いない。
コスト構造の観察
- 1ラウンドあたり消費量の開きは約7倍。品質とはほぼ無関係で、企画の厚みと強く相関します。海外3社は消費が高度に自制されており(1ラウンド20〜21万トークンでほぼ同一)、トップモデルが「第1章まで」というタスク境界を一貫して判断できていることを示します。
2. 請求額は単価と消費量の積であり、2つの偏差は互いに打ち消し合います。 Kimi は中国組で単価が最も高い(¥0.41)のに請求額は最安(¥1.43/ラウンド)——消費量で節約している。Doubao は単価が平凡なのに請求額は最高(¥4.54/ラウンド)——消費量で高くついている。コストの数字を一つだけ見ると、モデルを見誤りやすいのです。
- 品質プレミアムの換算:
-
DeepSeek 2バージョン選抜 vs GPT 単発:DeepSeek の2回出力は約¥1.18で GPT 単発の1/3未満。最良サンプル(70点)は GPT 平均(75点)に迫ります。予算が厳しいときは「ローエンドモデルで多く引く(ガチャ)」が現実的な代替策——ただし人手での選別が必要で、下限(35点)は制御不能というコストが伴います。
-
同じ単価帯なら消費を抑えるモデルを選ぶ:ハイエンド組4モデルの単価差はわずか1.4倍なのに、請求額差は3.2倍。単価が近い場合、長期コストへの影響は単価よりモデルの消費規律の方が大きい。Gemini、Kimi、Qwen は同価格帯の他モデルに比べてここに一定の優位があります。
さらに注目すべきは、まさに今回の評価がそうだったように、大量のトークンが企画と執筆のプロセスで消費される一方、読者がお金を払うのは最終的な本文の出来に対してだけだということです。実運用では「どの設計・プロセスドキュメントが最終成果物の向上に実際に寄与するのか」にもっとフォーカスすべきです。
総覧とモデルの位置づけ
| モデル | ガイド型インタラクション | 構造設計 | 実行遵守(カバレッジ) | 本文執筆 | 安定性 | 単価/1ラウンド請求額(¥) | 一言ポジショニング |
|---|---|---|---|---|---|---|---|
| GPT-5.4 | 強(4.33、商業企画) | 中(考えは重く、書き出しは軽い) | 精度高(4.5、1/3) | 全体最安定(75.0/振れ幅4) | エラー0、所要時間最安定 | 1.71 / 3.59 | 品質優先の本文主力 |
| Gemini 3.1 Pro | 弱(4.10、極めて簡素) | 中(標準的・安定) | 強(4.8、3/3) | 2位、上限は平凡(63.0) | エラー0、全体最速 | 1.06 / 2.18 | 低コスト量産起稿/A-Bテスト/標準化生産 |
| Sonnet 5 | 全体1位(4.57) | 強(執筆規範体系) | 中(4.1、章をまたいで回収しがち) | やや弱(57.3) | エラー0、所要時間の変動大 | 2.64 / 5.53 | 前期の共創と世界観構築 |
| Kimi K2.6 | 弱(4.03、簡潔) | 中 | 全体1位(4.87、3/3) | 中国勢1位かつ安定(60.0/振れ幅6) | エラー0、ハイエンド組最速 | 0.41 / 1.43 | 中国モデルの試し書き第一候補、消費最抑制 |
| Doubao Seed 2.1 | 中(4.27) | 中〜厚め | 中(4.00、2/3) | 中、変動大(58.3/振れ幅15) | 非ブロッキングエラー2回、最も遅い | 0.32 / 4.54 | 厚めの本文の予備候補、消費最大 |
| Qwen3.7 Max | 強(4.47、連載管理) | 強(プラットフォーム化) | 強(4.77、3/3) | 中、スカッと不足が持続(56.7) | エラー0 | 0.31 / 2.05 | 連載資料と章管理 |
| GLM-5.2 | 強(4.53、エンジニアリング分解) | 全体1位(4.7) | 中(4.27、3/3) | 弱(55.0) | エラー0 | 0.29 / 2.98 | 小説バイブルと巻構成エンジニアリング |
| DeepSeek V4 Pro | 中の上(4.2、制約ベース共創) | 強(ローエンド組1位) | ローエンド組1位(4.2、最良単発ラウンド5.0) | 上限高いが不安定(56.7/振れ幅35) | エラー0 | 0.13 / 0.59 | 重要章の複数バージョン選抜 |
| Qwen3.7 Plus | 弱(4.0、あまり聞かず速く作る) | 中 | 中(4.0、境界膨張) | 弱いが極めて安定(48.3/振れ幅5) | エラー0、ローエンド組最速 | 0.07 / 0.24 | 超低コストの量産初稿 |
| LongCat 2.0 | 弱(3.4、質問は上手いが収束できず) | 弱(2ラウンドで崩壊) | 弱(3.6、2/3) | 弱、変動大(48.3/振れ幅20) | エラー3回以上、ブロッキングに発展 | 0.13 / 0.55 | 当面、実制作での使用は非推奨 |
| MiniMax M3 | 最弱(2.9、ツール障害) | 弱(1ラウンドが成果物ゼロ) | 弱(3.7、2/3) | 全体最弱(37.5) | エラー6回以上+1ラウンド失敗 | 0.13 / 0.35 | 当面、実制作での使用は非推奨 |
まとめ
-
4つの能力は互いに独立しています。 ガイドと構造の両方で1位の Sonnet と GLM は、本文がグループ内最下位圏。本文1位の GPT は構造ドキュメント最少、章アウトラインのカバレッジは全体最低。ガイド最弱層の Kimi と Gemini は、本文とアウトライン遵守ではむしろ上位に定着。モデルは工程ごとに選ばなければならず、万能チャンピオンは存在しません。
-
安定性は過小評価されている分水嶺です。 振れ幅6点以下は GPT、Kimi、Qwen Plus の3つだけで、それぞれ「高位安定・中位安定・低位安定」。DeepSeek、Doubao、LongCat の高得点サンプルは安定的に再現できません。
-
章アウトライン遵守は予測可能性の指標であって、品質の指標ではありません。 遵守が高ければ「設計通りの納品」は保証されます(Kimi の4.87+本文グループ1位が最良の組み合わせ)が、設計自体が面白いことは保証されません(Qwen Max の4.77は「衝突なし」と評価)。逆に GPT は、高い実行精度が低いプロセス完全性と両立し得ることを証明しました。実運用では「章アウトラインのファイル化カバレッジ」と「章アウトライン自体のスカッと設計」を同時に押さえる必要があります。
-
海外トップと中国トップの本文格差は実在しますが、階層化して捉えられます。 GPT(75)は中国最高の Kimi(60)を15点リード。Gemini(63)はすでに Kimi/Doubao と同じ階層です。GPT の1ラウンド¥3.59に対し Kimi は¥1.43であることを考えると、中国モデルは「重要でない章」においてコスト優位を持ちます。
最終推奨の組み合わせ
- 前期の共創と世界観構築は Sonnet 5、予算重視なら GLM に切り替え。
- 連載資料と伏線管理は Qwen Max。
- 重要章の本文は GPT-5.4 / Gemini、予算重視なら DeepSeek に切り替え。
- 日常の初稿やテスト検証は Kimi または Qwen Plus。
- モデルを切り替える際は、必ず先にそれまでのコンテキストを要約(soloent.md を活用)してから新しいウィンドウを開いてください。さもないと、切り替え後のモデルが一度に大量のコンテキストを読み込むことになります。
本研究の限界
- 各モデル同一課題3ラウンドのみで、単一ジャンル(清末国術スカッと系)のため、結論は他ジャンルに外挿できません。
- 本文品質はそれぞれのアウトラインから逆方向の影響を受けるため、評価対象は純粋な文章力ではなく「ワークフロー全体の成果物」です。
- 機械採点は非ブラインドであり、グループ横断の機械スコアと章アウトライン遵守スコアはトレンド参考にとどまります。
- 人間のブラインド採点データは限られており、個人の好みやジャンル嗜好の影響を受けます。
今後の計画
- 各工程で好成績だったモデルを対象に、異なるタスクタイプ・コンテンツジャンルでのテストを実施。
- 統一ハード制約(章アウトラインの先行ファイル化、第1章で停止)のもと、GPT-5.4 の章アウトラインカバレッジと Sonnet の章またぎ回収問題を再テスト。
- 「どのプロセスドキュメントが最終本文を実際に向上させるか」を専門に検証し、消費規律の最適化に根拠を提供。