hiromasaさんが作成した WordPress プラグイン WordPress Related Post for Japanese が生成する形態素解析の結果を利用して、マルコフ連鎖による自動文章生成をやってみました。
「Yahoo!のAPIを利用して…

エントリ中にショートコードが埋め込まれてると上手くないです。
頻出単語の中にショートコード名やプロパティ名が入ってしまって、関連が無い記事もピックアップされてしまいます。
WordPress 2.6 からは、メディアライブラリに登録された画像をエントリに挿入すると、デフォルトで caption と言うショートコードが挿入されるので、かなり致命的では？

辞書作成時、Yahoo の 日本語形態素解析API に渡す前に strip_tags() しているのであれば、ショートコードタグも剥ぎ取ってはいかがでしょうか？
# とりあえず preg_replace(‘/\[[^\]]*\]/’, ”, $content) で行けるはず。

これを利用すれば、圧縮新聞の WordPress プラグイン版とか、すぐできそうな気がします。

自動要約はなかなか難しいですよ。形態素解析だけでやるとすれば、冗長な単語 (「えーと」とか) を除去するぐらいでしょうか。接続詞から文同士の関係を見て、より重要な文を残すなどの処理になると、あらゆる接続詞についてルールを書かないといけないのでちょっと作業が多くなります。
ただし、XHTML ドキュメントだと、ul とか dl とかの箇条書き系や blockquote など引用系は重要度が低いと判断するなどのヒューリスティックは使えるかもしれません。

新聞の場合、冒頭にある文章を抜き出して冗長な語句を抜けばいいので実は楽なんです。ブログのような雑文だと、どこに論旨があるか不明なので、要約がやりにくい題材ですね。

圧縮WordPress いいっすね。 うちの抜粋 RSS、これにしますか（笑）

この形態素解析後のデータは良いですね。
これを利用すれば、圧縮新聞の WordPress プラグイン版とか、すぐできそうな気がします。

いずれにせよこの手の解析は興味がありますので、なにか面白いものができることを期待しています。

関連投稿を出すのはあまり興味がないので、なかなか着手しないかもしれません。

実は来年のエイプリルフールプラグインは形態素解析系を検討していて、Yahoo! API をそろそろ勉強する予定でした。しかし、「ジョークプラグインのために Yahoo! に登録してもらう」のはなかなか敷居が高いと思っていたところです。
本プラグインが普及すれば、RAW XML を横取りするだけで「ジョークプラグイン」が実現できるので、楽になりそうです

なるほど、ストップワードというのですね。たしかに、開発中も試験データで「ぼく」などが上位にでてきていて気になっていました。　オプション画面にストップワード設定があると良い感じがしますね。　うーん、参考になります。

一応、容量を犠牲にして RAW XML も保持していますので少し研究してみることにします。　これはおもしろいですね!

N-Gram 楽しみです。実はつくるのを一度断念していまして。。　hiromasa.zone.ne.jp が 8M リミットのメモリだったのもあるのですが、アルゴリズム的にも分からないことがたくさんあったので、とても勉強になりそうです。

hiromasaさんのページでWordPress Related Post for Japanese Ver.1.0リリースの案内があって、入れてみよう! と思っていたら早速1.01 (バグフィックスリリース)の案内が。
WordPress Plugins/JSeries » Word…