extbody -- Blog&News本文領域抽出ツール

Blogのページや、ニュース記事のページから、本文を含む領域のHTMLを抽出します。
いくつもの経験則を組み合わせた抽出方法によって、80%程度の正解率で抽出できます。
日本語/英語を自動判定し、それぞれに対応した抽出を行います。
→もう少しくだけた紹介はこちら。

更新情報

• [2007/7/23] 公開。

抽出結果

ダウンロード等

動作に必要な環境

• Python2.5
• feedparser
• chardet

インストール

% python setup.py install

使用法

ayu@~% python
Python 2.5.1 (r251:54863, Jun 17 2007, 08:50:55) 
[GCC 4.0.1 (Apple Computer, Inc. build 5367)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import extbody
>>> body, newsFlag = extbody.extractor.extbodyByUrl("http://hiroshiykw.blogspot.com/2007/07/pylons.html")
>>> print body.encode("euc_jp")

      <p>
<a href="http://labs.unoh.net/2007/07/railspylonswiki.html">「Pylonsで簡易Wikiを作ってみる」</a>と、公式の
<a href="http://wiki.pylonshq.com/display/pylonsdocs/QuickWiki+Tutorial">QuickWiki Tutorial</a>に従ってwikiを作ってみた。
<br /><a href="http://sluggo.scrapping.cc/python/sacontext/">SAContext</a>の実例を上の記事で見ることができたのがうれしい。
ウノウの方のPython記事##毎回ためになるなあ。<br />（しかし、SAContextの人は北斗の拳の敵（のちょい役）みたいだね。
）<br /><br />djangoやTGをまともに触っていないんだけど、Pylonsは一番しっくりきそうな気がした。<br /><br />
TODO:<br />　認証について調べる。<br />　SAContextのよりまとまった記事を探す。<br />　Makoドキュメントを
斜め読み。<br />　</p>