2015/10/01
Shuca (朱夏) - 日本語対応のサマライザ
MOONGIFTで紹介されていた
Shuca という日本語に対応したサマライザを試してみた。
サマライザとは文章を解析し重要な部分だけを抜き出してくれる要約エンジンの事で、
この処理が自動で実施できると非常に便利になりそうなので
早速 CentOS 6.6 に Shucha を導入してみる。
Shuca は予め分かち書きや構文解析された文章を入力ソースとして受け付ける。 そのため、別途、形態素解析システムの JUMAN や 日本語構文・格・照応解析システムの KNP が必要となるので それらのツールも同時にインストールする。
- Shuca のインストール
-
Shuca 本体は Python で記述されており GitHub でソースが公開されている。
基本的にインストール作業は不要で GitHub からダウンロードしたファイルを任意のディレクトリに展開すれば良い。
今回は /usr/local 以下に全てのファイルを展開し、 実行可能ファイルは /usr/local/bin 以下に設置した。
$ wget https://github.com/hitoshin/shuca/archive/master.zip $ unzip master.zip $ sudo mkdir -p /usr/local/{bin,libexec,dic} $ sudo cp -p shuca-master/lib/* /usr/local/bin/. $ sudo cp -p shuca-master/dic/* /usr/local/dic/. $ sudo cp -p shuca-master/libexec/* /usr/local/libexec/.
インストールが終了したら同梱されているサンプルデータで動作を確認する。$ Shuca.py < shuca-master/dat/sample.knp.txt JR東海は4月16日、山梨リニア実験線で同日に行ったL0系の高速有人走行試験において、590キロメートル毎時を記録したと発表した。 2003年12月2日に同社のMLX01形が記録した鉄道の世界最高速度、581キロメートル毎時を11年4ヶ月ぶりに9キロメートル毎時更新する形となった。 JR東海は、「今後も開業に向けさまざまな試験を行っていく」とコメントしている。
- JUMAN のインストール
-
JUMAN は京都大学 大学院情報学研究科の黒崎・河原研究室が開発した日本語形態素解析システムで、
日本語の文章を形態素ごとに分かち書きし品詞などの情報を付加している。
$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/juman/juman-7.01.tar.bz2 $ tar xvf juman-7.01.tar.bz2 $ cd juman-7.01 $ ./configure --prefix=/usr/local $ make $ sudo make install
- KNP のインストール。
-
KNP も京都大学 大学院情報学研究科の黒崎・河原研究室が開発した日本語構文・格・照応解析システムで、
JUMAN で解析された結果から文節および基本句間の係り受け関係、格関係、照応関係を出力する。
KNP は zlib を利用しているので、予め zlib のインクルードファイル、ライブラリ等をインストールしておく。$ sudo yum -y install zlib-devel $ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/knp/knp-4.14.tar.bz2 $ tar xvf knp-4.14.tar.bz2 $ cd knp-4.14 $ ./configure --prefix=/usr/local --with-juman-prefix=/usr/local $ make $ sudo make install
- 動作の確認
-
これらがインストールできたら Shuca に同梱されているデータで動作の検証を実施する。
$ juman < shuca-master/dat/sample.snt.txt | knp # S-ID:1 KNP:4.14-CF1.1 DATE:2016/03/04 SCORE:-63.73058 JR──┐ 東海は──┐ 4──┐ │ 月──┐ │ 16──┐ │ 日、──┤ 山梨──┐ │ リニア──┐ │ 実験──┐ │ 線で──┐ │ 同日に──┐ │ │ 行った──┐ │ │ L0──┐ │ │ │ 系の──┤ │ │ 高速──┐ │ │ │ 有人──┐ │ │ │ 走行──┤ │ │ 試験に──┐ │ │ おいて、──┤ │ 590──┐ │ │ キロメートル──┤ │ │ 毎時を──┤ │ 記録したと──┤ 発表した。 EOS : : :
ここまで動作が確認できたら php を利用して簡単な動作検証環境を作成する。
Shcha に附属されていたサンプルデータから KNP の実行時オプションは
"-simple -normal" だと推察してみた。
この php スクリプトは入力された URL からコンテンツを取得して
jUMAN で形態素解析を実施してKNP で構文解析を実施した上で
Shcha を実行して要約を取得する。
下準備として改行コードの統一、HTML タグの除去、空行や空白のサプレス、
更に KNP の制限により半角文字を全角文字に変換している。
あくまでも動作サンプルのためのスクリプトなので、
エラー処理や html entity の処理など実施していない。
1<html> 2 <head> 3 <title> 4 shuca 要約 5 </title> 6 </head> 7 <body> 8 <center> 9<?php 10 mb_internal_encoding("UTF-8"); 11 12 define("juman", "/usr/local/bin/juman"); 13 define("knp", "/usr/local/bin/knp -simple -normal -cf-cache"); 14 define("shuca", "/usr/local/bin/Shuca.py -l 500 "); 15 16 if(strlen(($url = $_REQUEST["url"]))){ 17 print "$url<br><br>"; 18 19 $start = gettime(); 20 21 $content = 22 mb_convert_kana( /* 半角文字を全角に変換 */ 23 preg_replace("/ +/", " ", /* 複数のスペースを1個に置換 */ 24 preg_replace("/^ *\n/m", "", /* 空行を削除 */ 25 strip_tags( /* html タグを削除 */ 26 preg_replace('!<style.*?>.*?</style.*?>!is', '', /* <style> タグとその内容を削除 */ 27 preg_replace('!<script.*?>.*?</script.*?>!is', '', /* <script> タグとその内容を削除 */ 28 str_replace("\r", "", /* CR を削除 */ 29 file_get_contents($url))))))), "ASKV"); 30 31 $buf = ""; 32 $desc = array( 33 0 => array("pipe", "rb"), /* stdin: pipe */ 34 1 => array("pipe", "wb"), /* stdout: pipe */ 35 2 => array("file", "/dev/null", "w"), /* stderr: /dev/null */ 36 ); 37 38 if($pp = proc_open(sprintf("%s | %s | %s", juman, knp, shuca), $desc, $pipe)){ 39 fwrite($pipe[0], $content); 40 fclose($pipe[0]); 41 42 while(!feof($pipe[1])) 43 $buf .= nl2br(fread($pipe[1], 1024)); 44 fclose($pipe[1]); 45 46 proc_close($pp); 47 48 print <<< EOF 49 {$buf} 50EOF 51 ; 52 printf("処理時間: %f 秒", gettime() - $start); 53 } 54 } 55 else{ 56 print <<< EOF 57 <form> 58 <input type='text' name='url' size='50'> 59 <input type='submit' value='要約'> 60 </form> 61EOF 62 ; 63 } 64 65function gettime() 66{ 67 68 $t = gettimeofday(); 69 return((float)($t["sec"] + $t["usec"] / 1000000.0)); 70 71} 72 73 74?> 75 </center> 76 </body> 77</html>
実行結果
KNP の実行に結構時間がかかっている様だが、
入力ソースを適切に編集する事で実用的な要約が取得できる様だ。
