Mitzyuki's Blog :: Shuca (朱夏) - 日本語対応のサマライザ

Oct 01, 2015

Shuca (朱夏) - 日本語対応のサマライザ

MOONGIFTで紹介されていた Shuca という日本語に対応したサマライザを試してみた。
サマライザとは文章を解析し重要な部分だけを抜き出してくれる要約エンジンの事で、この処理が自動で実施できると非常に便利になりそうなので早速 CentOS 6.6 に Shucha を導入してみる。

Shuca は予め分かち書きや構文解析された文章を入力ソースとして受け付ける。そのため、別途、形態素解析システムの JUMAN や日本語構文・格・照応解析システムの KNP が必要となるのでそれらのツールも同時にインストールする。

Shuca のインストール

Shuca 本体は Python で記述されており GitHub でソースが公開されている。基本的にインストール作業は不要で GitHub からダウンロードしたファイルを任意のディレクトリに展開すれば良い。
今回は /usr/local 以下に全てのファイルを展開し、実行可能ファイルは /usr/local/bin 以下に設置した。

$ wget https://github.com/hitoshin/shuca/archive/master.zip
$ unzip master.zip
$ sudo mkdir -p /usr/local/{bin,libexec,dic}
$ sudo cp -p shuca-master/lib/* /usr/local/bin/.
$ sudo cp -p shuca-master/dic/* /usr/local/dic/.
$ sudo cp -p shuca-master/libexec/* /usr/local/libexec/.

インストールが終了したら同梱されているサンプルデータで動作を確認する。

$ Shuca.py < shuca-master/dat/sample.knp.txt 
JR東海は4月16日、山梨リニア実験線で同日に行ったL0系の高速有人走行試験において、590キロメートル毎時を記録したと発表した。
2003年12月2日に同社のMLX01形が記録した鉄道の世界最高速度、581キロメートル毎時を11年4ヶ月ぶりに9キロメートル毎時更新する形となった。
JR東海は、「今後も開業に向けさまざまな試験を行っていく」とコメントしている。

JUMAN のインストール

JUMAN は京都大学大学院情報学研究科の黒崎・河原研究室が開発した日本語形態素解析システムで、日本語の文章を形態素ごとに分かち書きし品詞などの情報を付加している。

$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/juman/juman-7.01.tar.bz2
$ tar xvf juman-7.01.tar.bz2
$ cd juman-7.01
$ ./configure --prefix=/usr/local
$ make
$ sudo make install

KNP のインストール。

KNP も京都大学大学院情報学研究科の黒崎・河原研究室が開発した日本語構文・格・照応解析システムで、 JUMAN で解析された結果から文節および基本句間の係り受け関係、格関係、照応関係を出力する。
KNP は zlib を利用しているので、予め zlib のインクルードファイル、ライブラリ等をインストールしておく。

$ sudo yum -y install zlib-devel
$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/knp/knp-4.14.tar.bz2
$ tar xvf knp-4.14.tar.bz2
$ cd knp-4.14
$ ./configure --prefix=/usr/local --with-juman-prefix=/usr/local
$ make
$ sudo make install

動作の確認

これらがインストールできたら Shuca に同梱されているデータで動作の検証を実施する。

$ juman < shuca-master/dat/sample.snt.txt | knp 
# S-ID:1 KNP:4.14-CF1.1 DATE:2016/03/04 SCORE:-63.73058
                                JR──┐　　　　　
                                      東海は──┐　
                  4──┐　　　　　　　　　　　│　
                          月──┐　　　　　　　│　
                                16──┐　　　│　
                                        日、──┤　
        山梨──┐　　　　　　　　　　　　　　　│　
              リニア──┐　　　　　　　　　　　│　
                        実験──┐　　　　　　　│　
                                線で──┐　　　│　
      同日に──┐　　　　　　　　　　　│　　　│　
              行った──┐　　　　　　　│　　　│　
        L0──┐　　　│　　　　　　　│　　　│　
                系の──┤　　　　　　　│　　　│　
高速──┐　　　　　　　│　　　　　　　│　　　│　
        有人──┐　　　│　　　　　　　│　　　│　
                走行──┤　　　　　　　│　　　│　
                      試験に──┐　　　│　　　│　
                            おいて、──┤　　　│　
                      590──┐　　　│　　　│　
                キロメートル──┤　　　│　　　│　
                              毎時を──┤　　　│　
                                  記録したと──┤　
                                          発表した。
EOS
    :
    :
    :

これで必要なツール類のインストールは完了した。

ここまで動作が確認できたら php を利用して簡単な動作検証環境を作成する。
Shcha に附属されていたサンプルデータから KNP の実行時オプションは "-simple -normal" だと推察してみた。
この php スクリプトは入力された URL からコンテンツを取得して jUMAN で形態素解析を実施してKNP で構文解析を実施した上で Shcha を実行して要約を取得する。
下準備として改行コードの統一、HTML タグの除去、空行や空白のサプレス、更に KNP の制限により半角文字を全角文字に変換している。
あくまでも動作サンプルのためのスクリプトなので、エラー処理や html entity の処理など実施していない。

  1<html>
  2    <head>
  3        <title>
  4            shuca 要約
  5        </title>
  6    </head>
  7    <body>
  8        <center>
  9<?php
 10    mb_internal_encoding("UTF-8");
 11
 12    define("juman",     "/usr/local/bin/juman");
 13    define("knp",       "/usr/local/bin/knp -simple -normal -cf-cache");
 14    define("shuca",     "/usr/local/bin/Shuca.py -l 500 ");
 15
 16    if(strlen(($url = $_REQUEST["url"]))){
 17        print "$url<br><br>";
 18
 19        $start = gettime();
 20
 21        $content =
 22            mb_convert_kana(                                                            /* 半角文字を全角に変換 */
 23                preg_replace("/ +/", " ",                                               /* 複数のスペースを1個に置換 */
 24                    preg_replace("/^ *\n/m", "",                                        /* 空行を削除 */
 25                        strip_tags(                                                     /* html タグを削除 */
 26                            preg_replace('!<style.*?>.*?</style.*?>!is', '',            /* <style> タグとその内容を削除 */
 27                                preg_replace('!<script.*?>.*?</script.*?>!is', '',      /* <script> タグとその内容を削除 */
 28                                    str_replace("\r", "",                               /* CR を削除 */
 29                                        file_get_contents($url))))))), "ASKV");
 30
 31        $buf = "";
 32        $desc = array(
 33            0 => array("pipe", "rb"),                   /* stdin: pipe */
 34            1 => array("pipe", "wb"),                   /* stdout: pipe */
 35            2 => array("file", "/dev/null", "w"),       /* stderr: /dev/null */
 36        );
 37
 38        if($pp = proc_open(sprintf("%s | %s | %s", juman, knp, shuca), $desc, $pipe)){
 39            fwrite($pipe[0], $content);
 40            fclose($pipe[0]);
 41
 42            while(!feof($pipe[1]))
 43                $buf .= nl2br(fread($pipe[1], 1024));
 44            fclose($pipe[1]);
 45
 46            proc_close($pp);
 47
 48            print <<< EOF
 49                {$buf}
 50EOF
 51            ;
 52            printf("処理時間: %f 秒", gettime() - $start);
 53        }
 54    }
 55    else{
 56        print <<< EOF
 57                <form>
 58                    <input type='text' name='url' size='50'>
 59                    <input type='submit' value='要約'>
 60                </form>
 61EOF
 62        ;
 63    }
 64
 65function    gettime()
 66{
 67
 68    $t = gettimeofday();
 69    return((float)($t["sec"] + $t["usec"] / 1000000.0));
 70
 71}
 72
 73    
 74?>
 75        </center>
 76    </body>
 77</html>

実行結果

KNP の実行に結構時間がかかっている様だが、入力ソースを適切に編集する事で実用的な要約が取得できる様だ。

Posted at 11:03 in Computer | コメント/トラックバック(0) | 編集

Edit this entry...

wikieditish message: Ready to edit this entry.

Title:

Body:

<p>
	[http://www.moongift.jp/2015/09/shuca-%E6%97%A5%E6%9C%AC%E8%AA%9E%E5%AF%BE%E5%BF%9C%E3%81%AE%E8%87%AA%E5%8B%95%E8%A6%81%E7%B4%84/ MOONGIFT]で紹介されていた
	Shuca という日本語に対応したサマライザを試してみた。<br>
	サマライザとは文章を解析し重要な部分だけを抜き出してくれる要約エンジンの事で、
	この処理が自動で実施できると非常に便利になりそうなので
	早速 CentOS 6.6 に Shucha を導入してみる。<br>
</p>
<p>
	Shuca は予め分かち書きや構文解析された文章を入力ソースとして受け付ける。
	そのため、別途、形態素解析システムの [http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN JUMAN] や
	日本語構文・格・照応解析システムの [http://nlp.ist.i.kyoto-u.ac.jp/index.php?KNP KNP] が必要となるので
	それらのツールも同時にインストールする。
</p>
<p>
	<dl>
		<dt>
			Shuca のインストール
		</dt>
		<dd>
			Shuca 本体は Python で記述されており [https://github.com/hitoshin/shuca GitHub] でソースが公開されている。
			基本的にインストール作業は不要で GitHub からダウンロードしたファイルを任意のディレクトリに展開すれば良い。<br>
			今回は <i>/usr/local</i> 以下に全てのファイルを展開し、
			実行可能ファイルは <i>/usr/local/bin</i> 以下に設置した。<br>

<code>
$ wget https://github.com/hitoshin/shuca/archive/master.zip
$ unzip master.zip
$ sudo mkdir -p /usr/local/{bin,libexec,dic}
$ sudo cp -p shuca-master/lib/* /usr/local/bin/.
$ sudo cp -p shuca-master/dic/* /usr/local/dic/.
$ sudo cp -p shuca-master/libexec/* /usr/local/libexec/.
			</code>

インストールが終了したら同梱されているサンプルデータで動作を確認する。

<code>
$ Shuca.py < shuca-master/dat/sample.knp.txt 
JR東海は4月16日、山梨リニア実験線で同日に行ったL0系の高速有人走行試験において、590キロメートル毎時を記録したと発表した。
2003年12月2日に同社のMLX01形が記録した鉄道の世界最高速度、581キロメートル毎時を11年4ヶ月ぶりに9キロメートル毎時更新する形となった。
JR東海は、「今後も開業に向けさまざまな試験を行っていく」とコメントしている。
			</code>
		</dd>

<dt>
			JUMAN のインストール
		</dt>
		<dd>
			JUMAN は京都大学 大学院情報学研究科の黒崎・河原研究室が開発した日本語形態素解析システムで、
			日本語の文章を形態素ごとに分かち書きし品詞などの情報を付加している。

<code>
$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/juman/juman-7.01.tar.bz2
$ tar xvf juman-7.01.tar.bz2
$ cd juman-7.01
$ ./configure --prefix=/usr/local
$ make
$ sudo make install
			</code>
		</dd>

<dt>
			KNP のインストール。
		</dt>
		<dd>
			KNP も京都大学 大学院情報学研究科の黒崎・河原研究室が開発した日本語構文・格・照応解析システムで、
			JUMAN で解析された結果から文節および基本句間の係り受け関係、格関係、照応関係を出力する。<br>
			KNP は zlib を利用しているので、予め zlib のインクルードファイル、ライブラリ等をインストールしておく。

<code>
$ sudo yum -y install zlib-devel
$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/knp/knp-4.14.tar.bz2
$ tar xvf knp-4.14.tar.bz2
$ cd knp-4.14
$ ./configure --prefix=/usr/local --with-juman-prefix=/usr/local
$ make
$ sudo make install
			</code>
		</dd>

<dt>
			動作の確認
		</dt>
		<dd>
			これらがインストールできたら Shuca に同梱されているデータで動作の検証を実施する。

<code>
$ juman < shuca-master/dat/sample.snt.txt | knp 
# S-ID:1 KNP:4.14-CF1.1 DATE:2016/03/04 SCORE:-63.73058
                                JR──┐　　　　　
                                      東海は──┐　
                  4──┐　　　　　　　　　　　│　
                          月──┐　　　　　　　│　
                                16──┐　　　│　
                                        日、──┤　
        山梨──┐　　　　　　　　　　　　　　　│　
              リニア──┐　　　　　　　　　　　│　
                        実験──┐　　　　　　　│　
                                線で──┐　　　│　
      同日に──┐　　　　　　　　　　　│　　　│　
              行った──┐　　　　　　　│　　　│　
        L0──┐　　　│　　　　　　　│　　　│　
                系の──┤　　　　　　　│　　　│　
高速──┐　　　　　　　│　　　　　　　│　　　│　
        有人──┐　　　│　　　　　　　│　　　│　
                走行──┤　　　　　　　│　　　│　
                      試験に──┐　　　│　　　│　
                            おいて、──┤　　　│　
                      590──┐　　　│　　　│　
                キロメートル──┤　　　│　　　│　
                              毎時を──┤　　　│　
                                  記録したと──┤　
                                          発表した。
EOS
	\<i\>:\</i\>
	\<i\>:\</i\>
	\<i\>:\</i\>
			</code>
		</dd>
	</dl>

これで必要なツール類のインストールは完了した。
</p>

<p>
	ここまで動作が確認できたら php を利用して簡単な動作検証環境を作成する。<br>
	Shcha に附属されていたサンプルデータから KNP の実行時オプションは
	<tt>"-simple -normal"</tt> だと推察してみた。<br>
	この php スクリプトは入力された URL からコンテンツを取得して
	jUMAN で形態素解析を実施してKNP で構文解析を実施した上で
	Shcha を実行して要約を取得する。<br>
	下準備として改行コードの統一、HTML タグの除去、空行や空白のサプレス、
	更に KNP の制限により半角文字を全角文字に変換している。<br>
	あくまでも動作サンプルのためのスクリプトなので、
	エラー処理や html entity の処理など実施していない。

<source lang='php'>
<html>
	<head>
		<title>
			shuca 要約
		</title>
	</head>
	<body>
		<center>
<?php
	mb_internal_encoding("UTF-8");

define("juman",		"/usr/local/bin/juman");
	define("knp",		"/usr/local/bin/knp -simple -normal -cf-cache");
	define("shuca",		"/usr/local/bin/Shuca.py -l 500 ");

if(strlen(($url = $_REQUEST["url"]))){
		print "$url<br><br>";

$start = gettime();

$content =
			mb_convert_kana(															/* 半角文字を全角に変換 */
				preg_replace("/ +/", " ",												/* 複数のスペースを1個に置換 */
					preg_replace("/^ *\n/m", "",										/* 空行を削除 */
						strip_tags(														/* html タグを削除 */
							preg_replace('!<style.*?>.*?</style.*?>!is', '',			/* <style> タグとその内容を削除 */
								preg_replace('!<script.*?>.*?</script.*?>!is', '',		/* <script> タグとその内容を削除 */
									str_replace("\r", "",								/* CR を削除 */
										file_get_contents($url))))))), "ASKV");

$buf = "";
		$desc = array(
			0 => array("pipe", "rb"),					/* stdin: pipe */
			1 => array("pipe", "wb"),					/* stdout: pipe */
			2 => array("file", "/dev/null", "w"),		/* stderr: /dev/null */
		);

if($pp = proc_open(sprintf("%s | %s | %s", juman, knp, shuca), $desc, $pipe)){
			fwrite($pipe[0], $content);
			fclose($pipe[0]);

while(!feof($pipe[1]))
				$buf .= nl2br(fread($pipe[1], 1024));
			fclose($pipe[1]);

proc_close($pp);

print <<< EOF
				{$buf}
EOF
			;
			printf("処理時間: %f 秒", gettime() - $start);
		}
	}
	else{
		print <<< EOF
				<form>
					<input type='text' name='url' size='50'>
					<input type='submit' value='要約'>
				</form>
EOF
		;
	}

function	gettime()
{

$t = gettimeofday();
	return((float)($t["sec"] + $t["usec"] / 1000000.0));

}

?>
		</center>
	</body>
</html>
	</source>
</p>
<p>
	[img_20151001.png 実行結果]
	KNP の実行に結構時間がかかっている様だが、
	入力ソースを適切に編集する事で実用的な要約が取得できる様だ。
</p>

Excerpt:

MOONGIFTで紹介されていた	Shuca という日本語に対応したサマライザを試してみた。	サマライザとは文章を解析し重要な部分だけを抜き出してくれる要約エンジンの事で、	この処理が自動で実施できると非常に便利になりそうなので	早速 CentOS 6.6 に Shucha を導入してみる。	Shuca は予め分かち書きや構文解析された文章を入力ソースとして受け付ける。	そのため、別途、形態素解析システムの JUMAN や	日本語構文・格・照応解析システムの KNP が必要となるので	それらのツールも同時にインストールする。						Shuca のインストール							Shuca 本体は Python で記述されており GitHub でソースが公開されている。			基本的にインストール作業は不要で GitHub からダウンロードしたファイルを任意のディレクトリに展開すれば良い。			今回は /usr/local 以下に全てのファイルを展開し、			実行可能ファイルは /usr/local/bin 以下に設置した。			$ wget https://github.com/hitoshin/shuca/archive/master.zip$ unzip master.zip$ sudo mkdir -p /usr/local/{bin,libexec,dic}$ sudo cp -p shuca-master/lib/* /usr/local/bin/.$ sudo cp -p shuca-master/dic/* /usr/local/dic/.$ sudo cp -p shuca-master/libexec/* /usr/local/libexec/.            			インストールが終了したら同梱されているサンプルデータで動作を確認する。			$ Shuca.py < shuca-master/dat/sample.knp.txt JR東海は4月16日、山梨リニア実験線で同日に行ったL0系の高速有人走行試験において、590キロメートル毎時を記録したと発表した。2003年12月2日に同社のMLX01形が記録した鉄道の世界最高速度、581キロメートル毎時を11年4ヶ月ぶりに9キロメートル毎時更新する形となった。JR東海は、「今後も開業に向けさまざまな試験を行っていく」とコメントしている。            							JUMAN のインストール							JUMAN は京都大学 大学院情報学研究科の黒崎・河原研究室が開発した日本語形態素解析システムで、			日本語の文章を形態素ごとに分かち書きし品詞などの情報を付加している。			$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/juman/juman-7.01.tar.bz2$ tar xvf juman-7.01.tar.bz2$ cd juman-7.01$ ./configure --prefix=/usr/local$ make$ sudo make install            							KNP のインストール。							KNP も京都大学 大学院情報学研究科の黒崎・河原研究室が開発した日本語構文・格・照応解析システムで、			JUMAN で解析された結果から文節および基本句間の係り受け関係、格関係、照応関係を出力する。			KNP は zlib を利用しているので、予め zlib のインクルードファイル、ライブラリ等をインストールしておく。			$ sudo yum -y install zlib-devel$ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/knp/knp-4.14.tar.bz2$ tar xvf knp-4.14.tar.bz2$ cd knp-4.14$ ./configure --prefix=/usr/local --with-juman-prefix=/usr/local$ make$ sudo make install            							動作の確認							これらがインストールできたら Shuca に同梱されているデータで動作の検証を実施する。			$ juman < shuca-master/dat/sample.snt.txt | knp # S-ID:1 KNP:4.14-CF1.1 DATE:2016/03/04 SCORE:-63.73058                                JR──┐　　　　　                                      東海は──┐　                  4──┐　　　　　　　　　　　│　                          月──┐　　　　　　　│　                                16──┐　　　│　                                        日、──┤　        山梨──┐　　　　　　　　　　　　　　　│　              リニア──┐　　　　　　　　　　　│　                        実験──┐　　　　　　　│　                                線で──┐　　　│　      同日に──┐　　　　　　　　　　　│　　　│　              行った──┐　　　　　　　│　　　│　        L0──┐　　　│　　　　　　　│　　　│　                系の──┤　　　　　　　│　　　│　高速──┐　　　　　　　│　　　　　　　│　　　│　        有人──┐　　　│　　　　　　　│　　　│　                走行──┤　　　　　　　│　　　│　                      試験に──┐　　　│　　　│　                            おいて、──┤　　　│　                      590──┐　　　│　　　│　                キロメートル──┤　　　│　　　│　                              毎時を──┤　　　│　                                  記録したと──┤　                                          発表した。EOS    :    :    :            				これで必要なツール類のインストールは完了した。	ここまで動作が確認できたら php を利用して簡単な動作検証環境を作成する。	Shcha に附属されていたサンプルデータから KNP の実行時オプションは	"-simple -normal" だと推察してみた。	この php スクリプトは入力された URL からコンテンツを取得して	jUMAN で形態素解析を実施してKNP で構文解析を実施した上で	Shcha を実行して要約を取得する。	下準備として改行コードの統一、HTML タグの除去、空行や空白のサプレス、	更に KNP の制限により半角文字を全角文字に変換している。	あくまでも動作サンプルのためのスクリプトなので、	エラー処理や html entity の処理など実施していない。	  1<html>  2    <head>  3        <title>  4            shuca 要約  5        </title>  6    </head>  7    <body>  8        <center>  9<?php 10    mb_internal_encoding("UTF-8"); 11 12    define("juman",     "/usr/local/bin/juman"); 13    define("knp",       "/usr/local/bin/knp -simple -normal -cf-cache"); 14    define("shuca",     "/usr/local/bin/Shuca.py -l 500 "); 15 16    if(strlen(($url = $_REQUEST["url"]))){ 17        print "$url<br><br>"; 18 19        $start = gettime(); 20 21        $content = 22            mb_convert_kana(                                                            /* 半角文字を全角に変換 */ 23                preg_replace("/ +/", " ",                                               /* 複数のスペースを1個に置換 */ 24                    preg_replace("/^ *\n/m", "",                                        /* 空行を削除 */ 25                        strip_tags(                                                     /* html タグを削除 */ 26                            preg_replace('!<style.*?>.*?</style.*?>!is', '',            /* <style> タグとその内容を削除 */ 27                                preg_replace('!<script.*?>.*?</script.*?>!is', '',      /* <script> タグとその内容を削除 */ 28                                    str_replace("\r", "",                               /* CR を削除 */ 29                                        file_get_contents($url))))))), "ASKV"); 30 31        $buf = ""; 32        $desc = array( 33            0 => array("pipe", "rb"),                   /* stdin: pipe */ 34            1 => array("pipe", "wb"),                   /* stdout: pipe */ 35            2 => array("file", "/dev/null", "w"),       /* stderr: /dev/null */ 36        ); 37 38        if($pp = proc_open(sprintf("%s | %s | %s", juman, knp, shuca), $desc, $pipe)){ 39            fwrite($pipe[0], $content); 40            fclose($pipe[0]); 41 42            while(!feof($pipe[1])) 43                $buf .= nl2br(fread($pipe[1], 1024)); 44            fclose($pipe[1]); 45 46            proc_close($pp); 47 48            print < 49                {$buf} 50EOF 51            ; 52            printf("処理時間: %f 秒", gettime() - $start); 53        } 54    } 55    else{ 56        print < 57                <form> 58                    <input type='text' name='url' size='50'> 59                    <input type='submit' value='要約'> 60                </form> 61EOF 62        ; 63    } 64 65function    gettime() 66{ 67 68    $t = gettimeofday(); 69    return((float)($t["sec"] + $t["usec"] / 1000000.0)); 70 71} 72 73     74?> 75        </center> 76    </body> 77</html>    					実行結果	KNP の実行に結構時間がかかっている様だが、	入力ソースを適切に編集する事で実用的な要約が取得できる様だ。

Ping URLs:

Password:

A quick preview will be rendered here when you click "Preview" button.