TOE（間違ったときだけ鍛える）とTA（常に鍛える）の精度比較

ずいぶん間が空いてしまったが、ようやく TOE と TA の精度比較の結果をまとめることができた。
POPFile は TOE（間違ったときだけ鍛える）というポリシーで使用することがすすめられている。これは、POPFile がメールの分類を間違えたときにだけ UI を開いて正しいバケツに再分類するということであり、分類が正しい場合には何もしなくてもよいということである。これは、再分類させるという手間を考えれば至極合理的な考え方だというのはわかるのだが、ドキュメントに書かれている

調査では、TAはほんの少し正確なだけだということがわかっています。

の「ほんの少し」とはどの程度なのかがずっと気になっていたのだ。
調査には、分かち書きのプログラムによる精度比較を行った際のものと同じデータを用いた。結果は、調査結果（ページの後半部分）を参照。これもまあ偶然の一致なのだろうが、テストに使った 22,400 通のメールデータにおいては、TA でも TOE でも精度はまったく同じということになってしまった。TA の方が常に高い精度を維持しており、また序盤では TA が有利なのは事実ではあるが、メールを処理すればするほどその差は縮まっていく。結局、正しく分類されたメールを手間をかけて再分類する意味はまったくなかったのだ（最初の数十通〜数百通においてはある程度は有効だろう）。
学習を繰り返すことによってコーパスがどんどん大きくなっていくことから、速度面ではどんどん不利になっていく。学習させる時間まで含まれているので単純には比較できないが、調査には TOE の場合の 10 倍くらいの時間がかかったようだ。当然、TA で運用しようと思ったら人間がすべてのメールを学習させていくことになるのだから、メールの受信に時間がかかるだけでなく、UI を開いてすべてのメールを分類する時間も余分にかかってしまう。メールを分類する手間を省くためにツールを導入しているのにもかかわらず、余計に時間がかかるというのでは本末転倒だ。しかも、精度もほとんど向上しない。
もちろんこの結果はある特定のデータについてのものなので常にこういう結果が出るのかどうかについては何とも言えないが、ある程度の量のデータで検証ができたことから、個人的にはこれで十分かなと思っている。これまでも TOE で POPFile を使用してきたが、これからも TOE で使っていくことにしよう。そういえばここしばらく、テストの際に POPFile を停止させるため以外に UI を開いた覚えがないような……。