POPFile

POPFile のインストール

さて、いよいよ準備完了。あとは POPFile をインストールするだけだ。POPFile 0.22.4 のクロスプラットフォーム版をダウンロード(ここにきて、unzip が入っていないことに気がついたので、rpm から取り出して /usr/bin/ にコピーした)。 まずは動作確認と…

日本語処理の高速化

分かち書きのプログラムを変更してもあまり速度が変わらない件について、もう少し調べてみた。手元にあった POPFile の履歴から 256 通のサンプルを使って、どこで時間がかかっているのかを Benchmark モジュールを用いて調べてみる。 まず、日本語処理を無…

MeCab を使うパッチの続き

少しずつ改良(?)を加える。 まず、文字種ごとに分割する処理が、POPFile の Windows 版でインストールされるモジュールだけでは動作しない(utf-8 関係のモジュールが必要なようだ)ことがわかったので、euc-jp のまま分割するようにしてみた。すると、ut…

上記パッチを Windows で使う場合

上記パッチを Windows で使うためには、MeCab (mecab-perl) や辞書をインストールする必要がある。インストール方法を簡単に。先に POPFile を終了させ、念のため POPFile とデータをバックアップしてから。必要な環境は、 POPFile 0.22.4 (Windows 版) Acti…

分かち書きに MeCab を使うパッチを更新

分かち書きに MeCab を使うパッチを、MeCab 0.91、POPFile 0.22.4 に対応したものに更新した。(POPFile フォーラムへのポスト)前回からの主な変更点は、 MeCab 0.91 に対応(というか、0.8x では動かない) POPFile 0.22.4 に対応 MeCab がインストールさ…

POPFile で分かち書きに MeCab を使う場合の問題の回避策

前回書いた、HTML タグなどが分かち書きされてしまう問題についての回避策を見つけたので、メモ。 辞書の設定ファイル(char.def)において、文字種の定義が行われている部分(CODE(UCS2) TO CATEGORY MAPPING のところ)で、 # ASCII 0x0021..0x002F SYMBOL…

POPFile で分かち書きに MeCab を使う場合の問題

少し前から Windows 環境で MeCab を使っての分かち書きをテストしていたのだけれど、今日になって気になる問題を発見。どうも、HTML タグが含まれていると、その部分も分かち書き(?)されてしまうのだ。例えば、「」という文字列が「」と分割されてしまう…

POPFileのインストーラ(universal binary 版)

ようやく動くかもしれないものができたので試験公開。 インストールされる Kakasi と Perl モジュールをすべてユニバーサルバイナリでビルドした。残念ながら Intel Mac を所有していないため Intel Mac で動作するかどうかは未確認だけれど、一応 iBook G4…

POPFile 0.22.3 RC2

POPFile 0.22.3 RC2 がリリースされている。このバージョンに問題がなければこのまま 0.22.3 になりそう。 RC1 からしばらく使ってみているけれど、今のところ問題はなし。

POPFile 0.22.3

Windows 版のテストバージョンがリリースされている。このバージョンには Perl 5.8.7 が含まれ、これによって Perl の古いバージョンで起こっていた問題(新しい SSL モジュールと互換性がない問題や、一部の LSP と互換性がない問題)が解消されるはずだ。…

初コミット

POPFile 日本語化プロジェクトで公開している日本語パッチと同内容の修正を本家 CVS へコミット。id:amatubu:20041204#p3 で書いたように、去年の 12 月からコミット権限はいただいていたのだけれど、今回初めてのコミットとなった。 status コマンドの -F …

MeCab で分かち書き

現在、POPFile は Kakasi (と Text::Kakasi)で分かち書きを行っているのだけど、これを MeCab に変更するパッチを作成してみた。MeCab の方が Kakasi よりも分かち書きの精度が高く、かつ高速だということなので、どのくらい違うのか試してみたいというこ…

0.22.2 日本語パッチ

どうやら問題ないようなので、リリース。Windows 版は id:jishiha さんが公開されていた 0.19.1.4 のソースを参考にインストーラを作成してみた。NSIS はちょっと取っつきにくかったが、さわってみるとそんなに難しくもなくておもしろい。日本語の情報源がも…

続・0.22.2 用日本語パッチの問題への対処

一昨日公開したパッチの修正では問題が修正できていない(さらに別の問題も発生)ことがわかり、昨日さらなる修正を公開するもこれも根本的な問題解決には至らず、今日も修正版を公開。三度目の正直どころか、四度目の正直(いや、差し替えが4回目なのだか…

0.22.2 用日本語パッチ適用後に分類に失敗することがあった問題への対処

3 月に試験公開をしたときから懸案事項だった問題について、ようやく原因がつかめた(おそらく)。 このパッチでは、メールの 1 行 1 行を処理するたびに行われていた Kakasi の辞書を開いて閉じるという処理を、メール 1 通ごとに行うように修正することに…

久しぶりの見逃し

上記の spam の第 1 弾は残念ながら見逃し。最初のメールだけ学習させたら、次のメールからはすべて spam 判定。このメールのおかげで分類精度がちょっと下がったけれど、それでも 99% はキープ。 本文もそれほど怪しくない(誰かもわからない相手にメールを…

見逃しかと思ったら

このところ非常に好成績が続いていて、317 通受信して見逃し 1 通のみ、精度 99.68% という状態。連休で新種のスパムも登場しなかった(内容的には連休をネタにしたものもあったようだけど)のか、ほとんどスパムを気にしないで過ごすことができている。 が…

0.22.2 用日本語パッチ試験公開中

次のバージョンに取り込んでもらおうと思っている日本語関係の機能をまとめた、日本語パッチを試験公開。少し前に公開した、Kakasi のパフォーマンスを向上させるパッチの他に、一部のバグ修正や排他処理の改善などを含めたもの。 私の環境では、Windows XP …

Kakasi の分かち書きのパフォーマンスを向上させるパッチ3

これまでに、数人の方から動作報告をいただいた。問題なく動作し、ちゃんと動作速度も向上しているようだ。 ということで、とりあえず Mac OS X 用のインストーラ を公開。私が作った 0.22.2 のインストーラでインストールした環境に上書きを行うもの。バッ…

Kakasi の分かち書きのパフォーマンスを向上させるパッチ2

昨日作成したパッチについて、しばらくは問題なく動いていたのだけど、使い続けているうちに問題が発生。なぜだかわからないが、しばらく使い続けていると、分かち書きに失敗したり、あるいは分かち書きの結果が文字化けしてしまう(結果的に分類結果に影響…

Kakasi の分かち書きのパフォーマンスを向上させるパッチ

Kakasi の分かち書きのパフォーマンスを向上させるパッチというものを作成して、パッチセクションに登録した。これまで気になっていた、分かち書きの処理にかかる時間を短縮するためのものだ。 これまで、Text-Kakasi のパラメータ指定を、メール 1 行 1 行…

CVS バージョンで必要なモジュールが増加

Class::Loader、Crypt::Blowfish、Crypt::CBC、Crypt::Random、Digest::SHA、Math::Pari、(GD/Pari)が新たに必要となった。マルチユーザ機能がもうすぐ形になりそうな感じ。

ドキュメント翻訳がひととおり完了

POPFile Documentation Project の日本語版、POPFile ドキュメンテーションプロジェクト が完成した。開発者向けの情報も含め、一通りのドキュメントの翻訳が完了したのだ。多くの方々の協力により、ここまですすめてくることができた。協力いただいた方々に…

MacPeople に POPFile インストール方法の記事

MacPeople 3 月号に、POPFile の Mac OS X へのインストール方法についての記事が掲載された。プログラムをソースコードからコンパイルしてみようという内容の特集記事の中で、上級編として扱われている。実際には、POPFile 本体はコンパイルするわけではな…

排他処理のパフォーマンス

Text::Kakasi での問題を回避するため、mkdir を使って排他処理を行うようにしたのだけど、やはりあまりパフォーマンスがよくないようだ。簡単なベンチマークプログラムを作成して試してみたところ、Thread::Semaphore を使用した場合に比べて 3 割くらい遅…

POPFile 0.22.2 の Panther 用インストーラ差し替え

先日公開した Panther 用インストーラに、必要なモジュールを入れるのを忘れてしまっていた。このため、0.22.0 以前のバージョンからアップグレードした場合や、新規でインストールした場合にちゃんと動かないという問題が発生してしまった。申し訳ない。モ…

popfile-scripts 1.10

POPFile を操作する AppleScript のアプレット集、popfile-scripts に、Terminal 上で POPFile を起動する、start-popfile-with-console を追加した。うまく起動しないという場合の原因究明の助けになれば。

POPFile 0.22.2 リリース

POPFile 0.22.2 (Windows 版、クロスプラットフォーム版) がリリースされた。Windows 環境で複数のアカウントのメールを同時に受信した場合に POPFile が異常終了してしまうバグなどが修正された。また、必要なモジュールがない場合に警告を表示する機能が追…

POPFile 0.22.2 RC3

本家フォーラムにて、POPFile 0.22.2 RC3 が公開された。id:amatubu:20041206#p1 で書いたパッチが Windows 2000 や Linux でも正しく動くことが確認され、コミットされた。めでたい。これでいよいよ 0.22.2 のリリースが近づいた感じかな。

2004 年 窓の杜大賞にノミネート

POPFile が、「2004 年 窓の杜大賞」にノミネートされました。 POPFile を愛用されている方はぜひ投票しましょう!