Differences

This shows you the differences between two versions of the page.

--- jp:faq:mecab [2007/09/08 13:49] – update for new version amatubu
+++ jp:faq:mecab [2007/12/08 11:39] – amatubu
@@ Line 1: / Line 1: @@
 ====== 分かち書きに Kakasi 以外のプログラム（例えば MeCab など）を使用する ======
-日本語の文章には、英語と違って単語の間に空白（スペース）がありません。このため、ベイジアンフィルタを使ってメールの分析をするためには、メールの本文を単語ごとに分割する（分かち書き）必要があります。POPFile では、Kakasi を使ってこれを実現しています。
+日本語の文章には、英語と違って単語の間に空白（スペース）がありません。このため、ベイジアンフィルタを使ってメールの分析をするためには、メールの本文を単語ごとに分割する（分かち書き）必要があります。POPFile は、標準では [[http://kakasi.namazu.org|Kakasi]] を使ってこれを実現しています。
-現在のバージョンの POPFile では分かち書きに使用するプログラムを変更することはできませんが、MeCab や内蔵パーサ（文字種による単純な分割）を使うためのパッチを現在テスト中です。POPFile の次のバージョン（0.22.6 を予定）に含まれる予定です。テストにご協力いただける方を募集中です。動作状況については、[[http://sourceforge.jp/forum/forum.php?forum_id=3073| POPFile フォーラム]]へご報告ください。
+POPFile 1.0.0 より、分かち書きに使用するプログラムを変更する機能が搭載されました。標準の Kakasi 以外に、[[http://mecab.sourceforge.net|MeCab]] と内蔵パーサ（文字種（漢字、ひらがな、カタカナなど）による単純な分割）から選択することができます。
-===== 分かち書きに MeCab を使う =====
+MeCab は Kakasi に比べ辞書ファイルが大きくなりますが（IPA 辞書 使用時で約 40MB。Kakasi は約 2MB）、分かち書きの精度が高く、環境にもよりますが Kakasi よりも高速に動作します。
-POPFile にパッチを当てることにより、分かち書きに使用するプログラムとして Kakasi の代わりに MeCab を使うことができます。MeCab を使うことによるメリットは、
+内蔵パーサは Kakasi や MeCab といった外部プログラム（モジュール）が不要なため、クロスプラットフォーム版の導入時などに便利です。しかし、辞書を使用せずに単純に文字の種類だけを頼りに分かち書きを行うため、分かち書きの精度は高くありません。動作速度については辞書を使用しないため非常に高速です。
-  * メール処理の高速化（環境によっては Kakasi とあまり変わらないこともあります）
-  * 分かち書き精度の向上（POPFile の分類精度については必ずしも向上するとは限りません）
-などがあります。逆に、
-  * 辞書ファイルのサイズが大きい
-というデメリットがあります（ハードディスクの容量が大きくなっている現在ではほとんど問題にならないでしょうが）。
-===== 分かち書きに内蔵パーサ（文字種による分割）を使う =====
+===== 分かち書きプログラムのインストール =====
-POPFile にパッチを当てることにより、分かち書きに使用するプログラムとして内蔵パーサ（文字種による分割）を使うことができます。内蔵パーサを使うことによるメリットは、
+==== Windows 版 ====
-  * メール処理の高速化
-  * 外部モジュールが不要（クロスプラットフォーム版の導入時などに便利でしょう）
-などがあります。逆に、
-  * 分かち書き精度の低下（POPFile の分類精度については必ずしも低下する訳ではありません）
-というデメリットがあります。
-===== パッチをインストールする =====
+POPFile 1.0.0 以降の Windows 版のインストーラには、分かち書きに使用するプログラムを選択する機能が搭載されています。インストーラの言語指定で「Nihongo」を選択するとプログラムの選択画面が現れますので、使用したいものを選択してください。初期設定では、POPFile 0.22.5 以前と同様に Kakasi がインストールされます。どれを選ぶべきかわからない場合は、Kakasi を選択するとよいでしょう。
-パッチは以下で入手することができます。クロスプラットフォーム版を使用している場合は zip ファイルを展開し、POPFile/Classifier フォルダの Bayes.pm と %%MailParse.pm%% を入れ替えます。Windows 版を使用している場合でも同じです。
+Kakasi あるいは MeCab を選択した場合、それぞれのプログラム（モジュール）と辞書が自動的にインストールされます。Kakasi と辞書はインストーラに内蔵されていますが、MeCab は内蔵されていないため、インターネットから自動的にダウンロードされ、インストールされます。
-パッチを適用する前には、必ず POPFile のデータおよびプログラムを[[JP:HowTos:Backup | バックアップ]]してください。
+インストール時に選択したプログラムが使用されるように POPFile の設定が自動的に変更されます。
-パッチの入手先:
+POPFile インストール後に分かち書きに使用するプログラムを追加インストールすることもできます。コントロールパネルの「プログラムの追加と削除」で POPFile の項目を選択し、「変更」をクリックしてウィザードに従ってください。あるいは、スタートメニューからプログラム→POPFile→Uninstall POPFile から追加することもできます。
-  *[[https://sourceforge.jp/tracker/index.php?func=detail&aid=10857&group_id=759&atid=2945| POPFile 0.22.5 日本語パッチ（テスト版その 2）]]
-===== MeCab をインストールする =====
+==== クロスプラットフォーム版 ====
-パッチは MeCab 0.91 以降でのみ動作します（0.96 を推奨）。MeCab と mecab-perl（Perl モジュール）、MeCab の辞書として ipadic をインストールします。
+分かち書きに使用したいプログラム（モジュール）と辞書ファイルをインストールします（内蔵パーサを使用する場合は必要ありません）。プログラム本体、辞書ファイル、Perl モジュールをインストールする必要があります。インストール方法については（[[JP:HowTos:Kakasi| Kakasi を使用する]] ／ [[JP:HowTos:MeCab| MeCab を使用する]]）を参照してください。
-==== Windows 版 ====
+POPFile は Kakasi 2.3.4＋Text::Kakasi 1.05/2.04、MeCab 0.96＋MeCab Perl バインディング 0.96＋IPA 辞書 で動作確認されています。MeCab についてはバージョン 0.91 以前のバージョンでは動作しませんのでご注意ください。
-パッチを適用するのに必要な環境は、
+===== 分かち書きプログラムの切替方法 =====
-  * POPFile 0.22.5 (Windows 版)
-  * %%ActivePerl%% 5.8.x (必ずしも必須というわけではありません。インストールしない場合の方法は後述)
-準備するものは、
+Windows 版のインストーラを利用する場合は、インストール時に分かち書きのプログラムを選択することができます。インストール後に設定を変更したい場合は、まずコントロールパネルの「プログラムの追加と削除」で必要なモジュールをインストールしてください。必要なモジュールがインストールされていない場合、設定を変更しても有効になりません。
-  * mecab-perl 0.91 以降([[http://namazu.asablo.jp/blog/2006/05/01/348707| ナマズのブログ]]を参考に、ppm を使ってダウンロード、インストールしてください)
-  * mecab-ipadic (上記ページを参考に、ダウンロード＆展開し、所定の場所にコピーします。環境変数もあわせて設定してください)
-  * MeCab を使うパッチ (上記からダウンロードします)
-POPFile から MeCab が使用できるようにするため、Perl モジュールを POPFile/lib 以下にコピーする必要があります。具体的には、
+POPFile UI の詳細設定タブを開き、bayes_nihongo_parser パラメータの値を変更（kakasi、mecab、internal のいずれか）し、**POPFile を再起動**させます。
-  * //C:\Perl\site\lib\MeCab.pm// → //C:\Program Files\POPFile\lib\MeCab.pm//
-  * //C:\Perl\site\lib\auto\MeCab// (フォルダ) → //C:\Program Files\POPFile\lib\auto\MeCab//
-のようにコピーします（デフォルトインストールの場合）。
+  * kakasi : Kakasi が使用されます。
+  * mecab : MeCab が使用されます。
+  * internal : 内蔵パーサ（文字種による分割）が使用されます。
-%%ActivePerl%% がインストールされていない場合は、[[http://www.akaneiro.jp/PPMPackages/800/x86/MeCab.tar.gz| ppm でダウンロードされるファイル]]を直接ダウンロード＆展開し、上記と同様に POPFile/lib 以下のフォルダにコピーします。
+Kakasi や MeCab が正常にインストールされていない場合は、MeCab → Kakasi → 内蔵パーサの順に使用するプログラムが自動的に変更されます（すなわち、MeCab も Kakasi もインストールされていない場合は内蔵パーサが使用されることになります）。現在どのプログラムが使用されているかを確認するには、POPFile UI の詳細設定タブを開き、bayes_nihongo_parser の値を確認してください。
-==== クロスプラットフォーム版 ====
+**注意:**
+ 分かち書きのプログラムを変更することにより、POPFile の分類精度が一時的に低下する可能性があります。これは、プログラムによって分割される位置が異なることにより、学習や分類に使用される文字列が変わってしまうことが原因です。しかしながら、この影響は大きなものではなく、そのまま使用し続けることによって高い分類精度を実現することが可能です。
-MeCab と mecab-perl のバージョン 0.91 以降をインストールします。インストール方法などについては[[http://mecab.sourceforge.jp/| MeCab ホームページ]]を参照してください。辞書ファイルは、MeCab と一緒に公開されている ipadic をインストールします。
+===== 分かち書きプログラムの比較 =====
-===== 分かち書きプログラムの切替方法 =====
+==== Kakasi（漢字→かな(ローマ字)変換プログラム） ====
+  * POPFile 0.22.5 までのバージョンで使われていたプログラムです。
+  * MeCab に比べ辞書ファイルのサイズが小さくてすみます（MeCab 約 40MB に対して約 2MB）が、分かち書きの精度は（ひらがなやカタカナで構成される単語の情報が含まれていない、などのために）MeCab に比べると低いです。
+==== MeCab（Yet Another Part-of-Speech and Morphological Analyzer） ====
+  * メールの処理速度が Kakasi に比べて向上します（環境によっては Kakasi とあまり変わらないこともあります）。
+  * 分かち書き精度が Kakasi に比べて向上します（POPFile の分類精度については必ずしも向上するとは限りません）。
+  * 辞書ファイルのサイズが大きくなります（Kakasi 約 2MB に対して約 40MB）。
-パッチを適用しただけでは、分かち書きのプログラムはデフォルトの Kakasi を使用するようになっています。POPFile UI の詳細設定タブを開き、bayes_japanese_parser パラメータの値を mecab に変更し、POPFile を再起動することによって、MeCab を使用するようになります（もし MeCab のインストールがうまくいっていない場合は引き続き Kakasi が使われます。正常に動作しているかどうか確認するには、もう一度詳細設定タブを開いて、bayes_japanese_parser パラメータの値が mecab になっているかどうかを調べてみてください）。
+==== 内蔵パーサ（文字種による分割） ====
-bayes_japanese_parser パラメータの値を internal に変更することにより、Kakasi も MeCab も使わず、単純に文字種（ひらがな、カタカナ、漢字、英数字など）によって分割する機能を使うことができます。クロスプラットフォーム版を使っている場合などで、Kakasi も MeCab も使用したくない場合などに便利かもしれません（Kakasi と MeCab がいずれもインストールされていない場合、自動的に内蔵パーサを使用するようになっています）。正確な分かち書きではないため、若干精度が落ちる可能性がありますが、しばらくテストした感じでは、それほど影響はないようです。
+  * メールの処理速度が Kakasi や MeCab に比べて向上します。
+  * 外部モジュールが不要です（クロスプラットフォーム版の導入時などに便利です）。
+  * 分かち書き精度が Kakasi や MeCab に比べて低下します（POPFile の分類精度については必ずしも低下する訳ではありません）。
 ===== POPFile の分類精度比較について =====
-万通あまりのメールを使用して、Kakasi、MeCab、内蔵パーサ（文字種による分割）を使った場合の分類精度を比較したデータ [[http://amatubu.skr.jp/?POPFile/Accuracy|こちら]]にあります。どのパーサを使用しても分類精度にはほとんど違いがないという結果が出ています。
+万通あまりのメールを使用して、Kakasi、MeCab、内蔵パーサ（文字種による分割）を使った場合の [[http://amatubu.skr.jp/?POPFile/Accuracy|分類精度を比較したデータ]] があります。どのプログラム（パーサ）を使用した場合でも分類精度にはほとんど違いがないという結果が出ています。
 [[:JP:FAQ | FAQ 初心者・初学者向けのQ&A集]]

POPFile - Automatic Email Classification

分かち書きに Kakasi 以外のプログラム（例えば MeCab など）を使用する

Differences