同じ文章をAI判定ツール2つにかけたら、真逆の結果が出た

2026/8/4

#AI#文章

AIに下書きさせた記事を、AI判定ツールにかけてみた。2つ使った。

結果はこうだった。

貼ったのは同じ記事だ。同じ日に、同じ本文を、コピーして貼っただけ。

片方は85%人間だと言い、もう片方はAIっぽいと言う。

どちらが正しいのか、確かめる方法がない

これが困るところで、答え合わせができない。

私はこの記事の書き方を知っている。下書きはAIに出させて、事実は自分で確認し、文体は自分で直した。つまり正解は「両方」だ。AIも人も書いている。

でもツールは0か100かで答えようとする。混ざったものを判定させると、閾値の置き方だけで結果が反転する。

AI判定ツールの精度が低いという話は前から言われていて、有名な例だとアメリカ独立宣言を判定にかけるとAI生成と出る。整った文章ほど疑われるので、文章が上手い人ほど不利になるという逆転が起きている。

学校のレポートや一部の応募書類では、これが実際に使われている。誤判定された側に反論の手段がないので、そこは問題だと思う。ただブログでは誰もツールにかけない。だから「バレるかどうか」を気にする意味は、あまりない。

判定は捨てて、内訳だけ読む

とはいえ、片方のツールは減点の内訳を出してくれた。これは使えた。

定型フレーズ        24 / 24
文末の単調さ        16 / 16
箇条書きの均一さ    14 / 14
接続語の整いすぎ     1 / 16
具体性の少なさ       0 / 12
人間味の薄さ         0 / 18
合計                55 / 100

足すと55になる。合計点がそのまま「AI度」として出ていた。

いちばん重い減点は定型フレーズで、内容は「加えて / まず / 次に / 最後に などが見つかりました」だった。

自分の記事を調べたら、本当に書いてあった。段落の頭に、順番を示す言葉が4つ並んでいる。

まず、「もらった値はそのまま通す」を明文化した。
次に、不完全なファイルは出力を止めるようにした。
それから、やむを得ず値を整形した場合は…
最後に、商品登録に必須の項目が空なら止めるようにした。

手順を並べる形は、AIが最も得意な構成だ。指摘は当たっていた。4箇所とも外して、中身でつなぐ形に書き直した。

判定は割れていたが、内訳には拾えるものがあった。総合点は無視して、項目ごとに読むのが正しい使い方だと思う。

減点ゼロだった2項目のほうが大事だった

同じ表の下の2行を、もう一度見てほしい。

具体性の少なさ       0 / 12   数字・引用・体験語の手がかりが 94個
人間味の薄さ         0 / 18   主観・ゆらぎの手がかりが 87個

どちらも減点ゼロだ。実体験で書いているからで、この2項目はあとから足せない。

文体の癖は直せる。太字を消して、見出しを減らして、文の長さを混ぜる。30分で終わる作業だ。でも「94個の具体的な手がかり」は、実際にやっていないと1個も出てこない。

つまりこの表は、直せるものと直せないものを分けて見せてくれている。上の3行は書式の問題で、下の2行は中身の問題だ。

そして読者が離れるかどうかを決めているのは、たぶん下の2行のほうだ。文体が整っていても中身が空なら読まれないし、文体が雑でも書いてあることが具体的なら最後まで読まれる。

ツールを疑ったほうがいい箇所

使っていて、2つ引っかかった。

1つ目。文末の単調さで16点の減点が付いているのに、その説明文には「文末の繰り返しは目立ちません」と書いてある。表示と点数が食い違っている。バグだと思うので、ここは真に受けないことにした。

2つ目。判定にかけたテキストに、サイトのナビとフッターが混ざっていた。ページ全体をコピーして貼ったせいで、記事タイトルの前にメニューの文字列が入り、末尾に著作権表示が入っている。これも1文として数えられる。

短い断片が本文に混ざると、文の長さの分布が変わる。判定ツールを使うときは、貼る範囲にも気をつけたほうがいい。本文だけを選んで貼るのが正しい。

結論としては、判定の数字は見ないことにした。内訳の項目だけ見て、当たっているものを直す。

自分で測るスクリプトも書いていて、そちらは自分の癖だけを相手にできるぶん、汎用ツールより当たる。今回の順序の接続語も、指摘を受けてからそちらに項目として足した。外部ツールは、自分のチェッカーに何が足りないかを教えてもらう相手として使うのがいいと思う。

そこまでやってどうなったかは別の記事に書いた。

自分で測るほうのスクリプトはここに置いてある。