역대급으로 꼼꼼한 AI 글쓰기 모델 평가 리포트 공개! 추천 모델 기간 한정 60% 할인!

바이브 라이팅(vibe writing) 이념의 주창자로서, 우리는 글쓰기가 단순히 본문을 생성하는 일이 아니라 하나의 엔지니어링이라고 생각합니다. 이 엔지니어링의 각 단계에서 아직 안정적인 챔피언은 나타나지 않았으며, 이번 평가 역시 각 작업 단계에서 모델별 강약점을 그대로 보여주었습니다.

이 시리즈는 매달 업데이트됩니다. 모델 커버리지를 유지하는 것 외에도, 다양한 콘텐츠 스타일과 장르, 다양한 언어를 지속적으로 다룰 예정이니 많은 관심 부탁드립니다.

본문에서 추천하는 우수 모델 GLM-5.2, Kimi K2.6, Qwen 시리즈는 링셰(灵蟹)/SoloEnt에서 기간 한정 할인 중입니다. 멤버 60% 할인, 무료 사용자 40% 할인. 놓치지 마세요!

평가 개요

본 보고서는 Fable5를 사용해 세 그룹(해외 빅3, 중국 고가 4개 모델, 중국 저가 4개 모델)의 평가 결과를 최종 종합한 것으로, 총 11개 모델, 33회의 동일 과제 실행을 다룹니다.

모든 실행은 동일한 프롬프트("룬투(闰土)로 빙의해 국술을 수련하다" 웹소설), 동일한 추가 조건(100만 자 / 전통 국술 / 영혼 빙의 / 열혈 사이다물 / 청말민초 배경), 동일한 워크플로(Plan → 조건 보완 → Act → 1화 저장 즉시 중단)를 사용했습니다.

그룹	모델	토큰	실제 비용	백만 토큰당 비용
해외	Gemini 3.1 Pro Preview, GPT-5.4, Claude Sonnet 5	187.0만	$4.9823 (≈¥33.88)	¥18.12
중국 고가	Doubao Seed 2.1 Pro, GLM-5.2, Qwen3.7 Max, Kimi K2.6	1,034.2만	¥32.9812	¥3.19
중국 저가	Qwen3.7 Plus, LongCat 2.0, DeepSeek V4 Pro, MiniMax M3	450.5만	¥5.1958	¥1.15

세 그룹 모두 실제 편집자가 1화를 100점 만점으로 블라인드 평가했으며, GPT-5.5가 논블라인드 모델 평가를 수행했습니다. 중국 두 그룹과 해외 한 그룹은 동일한 평가 프레임워크를 사용했고, 본 보고서는 이를 기반으로 그룹 간 비교를 진행합니다.

본 보고서는 "글쓰기 능력"을 네 가지 차원으로 나누어 각각 비교합니다: 가이드 상호작용(기획 단계에서 작가의 사고와 결정을 이끄는 능력), 구조 설계(기획 문서 체계와 아웃라인 엔지니어링), 실행 준수(본문이 사전 작성된 회차 아웃라인을 따르는 정도), 본문 창작(1화의 실제 읽기 품질).

테스트 결과, 이 네 가지 능력 간의 실제 상관관계는 매우 낮았습니다.

차원 1: 가이드 상호작용

Plan 단계에서 모델이 "얼마나 많이 말했는가"가 아니라, 작가가 요구사항을 명확히 하고 창작 결정을 내리도록 안정적·효과적·합리적으로 돕는지를 평가합니다.

핵심 결론

가이드가 가장 강한 것은 Sonnet 5와 GLM-5.2로, 두 모델의 노선은 다릅니다. Sonnet은 작가에게 "객관식 선택"을 시켜 공동 창작에 참여시키고, GLM은 작가 대신 "리서치"를 수행해 지식을 보완합니다. GPT-5.4와 Qwen Max가 그 뒤를 바짝 따르며, 각각 상업적 포지셔닝과 프로세스 관리에 강점이 있습니다.

Gemini, Kimi, Qwen Plus는 "낮은 가이드·높은 실행" 유형으로, 초보 작가에게는 도움이 제한적이지만 목표가 명확한 작가에게는 오히려 깔끔하고 효율적입니다.

DeepSeek의 가이드 유효성(4.6)은 이미 최상위 수준에 도달했습니다. 제안을 곧바로 글쓰기 제약 조건으로 전환하는 것이 특징이지만, 과정 표시가 불안정합니다.

경계해야 할 공통 문제: 가이드가 강한 모델들(GPT, GLM, Qwen Max)은 모두 **"기획 완료를 작업의 종점으로 간주"**하는 현상을 보였으므로, 작가 스스로 자신의 진짜 목표가 무엇인지 명확히 파악하고 있어야 합니다.

차원 2: 구조 설계

기획 문서 체계의 완성도, 아웃라인 엔지니어링 품질, 전후 인과 사슬을 평가합니다.

핵심 결론

구조 설계의 상위권은 GLM, Sonnet, Qwen Max로, 가이드 상위권과 정확히 일치합니다. 두 차원은 근원이 같습니다 — 깊이 파고들어 질문하는 모델이라야 어떤 문서를 만들어야 하는지 압니다.

세 모델의 분업은 다음과 같이 요약할 수 있습니다: GLM은 "소설 바이블", Sonnet은 "집필 규범", Qwen Max는 "연재 미들 플랫폼"을 구축합니다.

주목할 반례는 GPT-5.4입니다. 구조 문서가 가장 적었고(어떤 라운드는 본문만 제출) 본문은 전체 최고점을 받았습니다 — 구조를 문서로 쓰지 않고 "머릿속에" 담아둔 셈입니다.

반대편은 GLM과 Sonnet입니다. 문서 엔지니어링은 전체에서 가장 무거웠지만, 본문 평균 점수는 각자 그룹 내 최하위 또는 최하위권이었습니다. 이번 평가에서 문서 규모와 본문 품질의 상관관계는 거의 0에 가까웠습니다.

안정성도 구조 능력에 속합니다. Gemini와 Qwen Max는 3라운드 디렉터리 구조가 거의 동일하게 재현되어 곧바로 템플릿화가 가능했으며, LongCat과 MiniMax의 구조 붕괴는 설계 능력이 아니라 툴 레이어 오류에서 비롯되었습니다.

차원 3: 실행 준수

"기획이 집필을 실제로 구속할 수 있는가"를 측정합니다. 장편 생산에서는 페이스 제어, 복선 회수, 다인 협업 시의 예측 가능성에 직접적인 영향을 줍니다.

핵심 결론

준수 상위권과 본문 상위권은 부분적으로만 겹칩니다. Kimi는 유일하게 "준수 1위 + 그룹 내 실제 편집자 점수 1위"를 동시에 달성한 모델입니다. Qwen Max는 준수 4.77이었지만 편집자 피드백은 계속 "갈등이 없고 사이다가 부족하다"였습니다 — 재미없는 계획을 충실히 실행해도 여전히 재미없습니다. 아웃라인 준수와 아웃라인 품질은 별개의 문제입니다.

실패 유형은 고도로 집중되어 있습니다: 회차 경계 팽창. 저가 그룹의 세 모델(Qwen Plus, LongCat, MiniMax)과 Sonnet의 감점 대부분은 "후속 회차 내용을 1화에 앞당겨 밀어 넣는" 데서 발생했고, 그 결과 초반 페이스가 무너지고 2화의 기능이 미리 소모되었습니다.

차원 4: 본문 창작

1화의 실제 읽기 품질을 평가합니다. 실제 편집자의 100점 만점 블라인드 평가를 주 근거로 하고, 편집자 코멘트 요약을 보조 자료로 사용합니다.

핵심 결론

본문 창작의 승자는 단 하나, GPT-5.4입니다. 평균 점수가 2위를 12점 앞서고 점수 편차(최대-최소)는 4점에 불과해, "고득점 + 안정성"을 겸비한 유일한 모델입니다. 중국 진영에서는 Kimi가 안정성으로 승부하고(50점 미만 샘플이 없는 유일한 중국 모델), DeepSeek은 상한선으로 승부합니다(단일 70점으로 중국 최고, 단 반드시 다중 버전 중 선별해서 사용해야 함).

전체 32편의 유효 1화 중 15편이 60점 이상이었고, 80점에 도달한 작품은 한 편도 없었습니다. 중국 8개 모델에 대한 편집자들의 공통 비판은 매우 일관됩니다: 과도한 주제 승화, 사이다 부족, "웹소설 같지 않다".

결론: 현재 어떤 모델의 원본 출력도 편집 없이 그대로 납품할 수 없습니다.

모델 비용 상세 비교 (위안화 환산 통일)

세 그룹 모두 SoloEnt 백엔드 실결제 금액이며, 저가 그룹은 링셰 할인가(정가의 25~50%), 고가·해외 그룹은 플랫폼 실제 과금입니다. 어느 것도 제조사 공식 정가를 대표하지 않습니다.

지표 기준

모델의 장단점을 명확히 보기 위해 비용을 세 가지 병렬 지표로 나눕니다:

단가(10만 토큰당): "이 모델이 비싼가"에 답하며, 제조사/플랫폼 가격 정책이 결정합니다.
라운드당 소모량(만 토큰): "같은 작업을 완수하는 데 경제적인가"에 답하며, 기획 깊이·중복·자기 통제를 반영합니다.
라운드당 청구액(단가 × 소모량): "실제로 얼마를 내는가"에 답하며, 예산 참고용일 뿐 모델 효율 평가에는 쓰지 않습니다.

비용 구조 관찰

라운드당 소모량은 약 7배 차이가 나며, 품질과는 거의 무관하고 기획 두께와 강하게 상관됩니다. 해외 3사는 소모가 매우 절제되어(라운드당 20~21만 토큰, 거의 동일) 최상위 모델들이 "1화까지만 완성"이라는 작업 경계를 일관되게 판단함을 보여줍니다.

2. 청구액은 단가와 소모량의 곱이므로, 두 편차가 서로를 가릴 수 있습니다. Kimi는 중국 그룹에서 단가가 가장 비싸지만(¥0.41) 청구액은 가장 낮으며(¥1.43/라운드) 소모량에서 절약합니다. Doubao는 단가가 평범하지만 청구액이 가장 높으며(¥4.54/라운드) 소모량 때문에 비쌉니다. 비용 수치 하나만 보면 모델을 오판하기 쉽습니다.

품질 프리미엄 환산:

DeepSeek 2버전 선별 vs GPT 단일 버전: DeepSeek 2회 출력 비용은 약 ¥1.18로 GPT 1회의 1/3 미만이며, 최고 샘플(70점)은 GPT 평균(75점)에 근접합니다. 예산이 빠듯할 때 "저가 모델 다회 뽑기"는 현실적인 대안이지만, 수작업 선별이 필요하고 하한(35점)을 통제할 수 없다는 대가가 따릅니다.
같은 단가대에서는 소모가 절제된 모델을 선택: 고가 그룹 4개 모델의 단가 차이는 1.4배에 불과하지만 청구액 차이는 3.2배입니다. 단가가 비슷할 때는 모델의 소모 규율이 단가보다 장기 비용에 더 큰 영향을 줍니다. Gemini, Kimi, Qwen이 동급 가격대의 다른 모델에 비해 이 부분에서 우위가 있습니다.

더 주목할 점은, 바로 이번 평가처럼 대량의 토큰이 기획과 창작 과정에서 소모되지만 독자는 오직 최종 본문의 효과에만 돈을 낸다는 것입니다. 실제 사용에서는 어떤 설계·과정 문서가 최종 결과물 향상에 실제로 기여하는지에 더 집중해야 합니다.

총람 및 모델 포지셔닝

모델	가이드 상호작용	구조 설계	실행 준수(커버리지)	본문 창작	안정성	단가 / 라운드당 청구액(¥)	한 줄 포지셔닝
GPT-5.4	강함(4.33, 상업 기획)	중간(생각은 많고 문서는 적음)	정밀도 높음(4.5, 1/3)	전체 최고 안정(75.0/편차 4)	오류 0, 소요 시간 가장 안정	1.71 / 3.59	품질 우선 본문 주력
Gemini 3.1 Pro	약함(4.10, 극도로 간결)	중간(표준적·안정적)	강함(4.8, 3/3)	2위, 상한은 평범(63.0)	오류 0, 전체 최속	1.06 / 2.18	저비용 대량 초안 / A-B 테스트 / 표준화 생산
Sonnet 5	전체 1위(4.57)	강함(집필 규범 체계)	중간(4.1, 복선을 다른 회차에서 회수하는 경향)	다소 약함(57.3)	오류 0, 소요 시간 변동 큼	2.64 / 5.53	초기 공동 창작·세계관 구축
Kimi K2.6	약함(4.03, 간결)	중간	전체 1위(4.87, 3/3)	중국 1위·안정(60.0/편차 6)	오류 0, 고가 그룹 최속	0.41 / 1.43	중국 모델 시필 1순위, 소모 최소 절제형
Doubao Seed 2.1	중간(4.27)	중간~두꺼움	중간(4.00, 2/3)	중간, 변동 큼(58.3/편차 15)	비차단 오류 2회, 가장 느림	0.32 / 4.54	두꺼운 본문용 대안, 소모 최대
Qwen3.7 Max	강함(4.47, 연재 관리)	강함(미들 플랫폼화)	강함(4.77, 3/3)	중간, 사이다 지속 부족(56.7)	오류 0	0.31 / 2.05	연재 자료·회차 관리
GLM-5.2	강함(4.53, 엔지니어링 분해)	전체 1위(4.7)	중간(4.27, 3/3)	약함(55.0)	오류 0	0.29 / 2.98	소설 바이블·권별 엔지니어링
DeepSeek V4 Pro	중상(4.2, 제약 기반 공동 창작)	강함(저가 그룹 1위)	저가 그룹 1위(4.2, 최고 단일 라운드 5.0)	상한 높으나 불안정(56.7/편차 35)	오류 0	0.13 / 0.59	핵심 회차 다중 버전 선별용
Qwen3.7 Plus	약함(4.0, 적게 묻고 빨리 실행)	중간	중간(4.0, 경계 팽창)	약하지만 매우 안정(48.3/편차 5)	오류 0, 저가 그룹 최속	0.07 / 0.24	초저비용 물량 초안
LongCat 2.0	약함(3.4, 질문은 잘하나 수렴 못함)	약함(2개 라운드 붕괴)	약함(3.6, 2/3)	약함, 변동 큼(48.3/편차 20)	오류 3회 이상, 차단 상황으로 악화	0.13 / 0.55	당분간 실전 사용 비권장
MiniMax M3	최약(2.9, 툴 장애)	약함(1개 라운드 산출물 0)	약함(3.7, 2/3)	전체 최약(37.5)	오류 6회 이상 + 1라운드 실패	0.13 / 0.35	당분간 실전 사용 비권장

총결

네 가지 능력은 서로 독립적입니다. 가이드와 구조 모두 1위인 Sonnet과 GLM의 본문은 그룹 내 최하위권이었고, 본문 1위 GPT는 구조 문서가 가장 적고 아웃라인 커버리지가 전체 최저였으며, 가이드 최약체인 Kimi와 Gemini는 본문과 아웃라인 준수에서 오히려 상위권에 안착했습니다. 모델은 반드시 단계별로 골라야 하며, 만능 챔피언은 존재하지 않습니다.
안정성은 저평가된 분수령입니다. 편차 6점 이하인 것은 GPT, Kimi, Qwen Plus 세 모델뿐으로, 각각 "고점 안정, 중간 안정, 저점 안정"입니다. DeepSeek, Doubao, LongCat의 고득점 샘플은 안정적으로 재현되지 않습니다.
아웃라인 준수는 예측 가능성 지표이지 품질 지표가 아닙니다. 준수가 높으면 "설계대로 납품"은 보장되지만(Kimi 4.87 + 본문 그룹 1위가 최적 조합), 설계 자체가 재미있다는 보장은 없습니다(Qwen Max 4.77은 "갈등 없음" 평가). 반대로 GPT는 높은 실행 정밀도가 낮은 프로세스 완결성과 공존할 수 있음을 증명했습니다. 실사용에서는 "아웃라인 저장 커버리지"와 "아웃라인 자체의 사이다 설계"를 동시에 관리해야 합니다.
해외 상위권과 중국 상위권의 본문 격차는 실재하지만 층위가 나뉩니다. GPT(75)가 중국 최고 Kimi(60)를 15점 앞서고, Gemini(63)는 이미 Kimi/Doubao와 같은 층위입니다. GPT의 라운드당 ¥3.59 대 Kimi의 ¥1.43을 고려하면, 중국 모델은 "비핵심 회차"에서 비용 우위를 갖습니다.

최종 추천 조합

초기 공동 창작과 세계관 구축은 Sonnet 5, 예산이 민감하면 GLM으로 대체.
연재 자료·복선 관리는 Qwen Max.
핵심 회차 본문은 GPT-5.4 / Gemini, 예산이 민감하면 DeepSeek으로 대체.
일상 초안이나 테스트 검증은 Kimi 또는 Qwen Plus.
모델을 전환할 때는 반드시 먼저 이전 컨텍스트를 요약하고(soloent.md를 잘 활용) 새 창을 여세요. 그러지 않으면 전환된 모델이 한 번에 지나치게 많은 컨텍스트를 읽게 됩니다.

연구의 한계

모델당 동일 과제 3라운드에 불과하고 단일 장르(청말 국술 사이다물)라, 결론을 다른 장르로 일반화할 수 없습니다.
본문 품질은 각 모델 자신의 아웃라인에 역으로 영향을 받으므로, 순수 문장력이 아니라 "전체 워크플로 산출물"을 평가한 것입니다.
기계 평가는 논블라인드이며, 그룹 간 기계 점수와 아웃라인 준수 점수는 추세 참고용입니다.
실제 편집자 블라인드 평가 데이터가 제한적이고 개인 취향·장르 선호의 영향을 받습니다.

향후 계획

각 단계에서 우수한 성과를 보인 모델을 대상으로 다양한 작업 유형·콘텐츠 장르 테스트 진행.
통일된 하드 제약(아웃라인 선(先)저장, 1화에서 중단)으로 GPT-5.4의 아웃라인 커버리지와 Sonnet의 회차 간 회수 문제 재검증.
"어떤 과정 문서가 최종 본문을 실제로 향상시키는지" 전담 검증, 소모 규율 최적화의 근거 마련.