2014年2月25日火曜日

Check IO House password

House password

10文字以上で、大文字、小文字、数値をすべて含む文字列の場合、Trueを返す。
この問題は正規表現を使っても解けると思う。

Check IO Median

Median

リストの中の中央値を返す。
リスト長が奇数の場合は中央値を返し、偶数の場合は中央値が2つあるので2つの平均を返す。

Check IO Non-unique Elements

Non-unique Elements

uniqueの逆で重複していない要素をリストから削除する。
リストの中に同じデータが何個あるか調べて、1個しかなかったらリストから削除すればいい。

2014年2月11日火曜日

geventとlxmlを同時に使うとフリーズする

import gevent.monkey
gevent.monkey.patch_socket()
import urllib2
from lxml import html

r = urllib2.urlopen('http://www.yahoo.co.jp')
et = html.parse(r)
上記のようなコードを実行するとhtml.parseで処理が帰ってこずフリーズすることがある。
import gevent.monkey
gevent.monkey.patch_socket()
import urllib2
from lxml import html
from io import StringIO

r = r = StringIO(urllib2.urlopen('http://www.yahoo.co.jp').read().decode('utf-8','replace'))
et = html.parse(r)
urlopenの戻り値を直接使わずにいったんStringIOにデータを格納してからhtml.parseを実行すると、理由はよくわからないがフリーズしなくなる。

2014年2月9日日曜日

web2pyのクエリー

web2pyでtypeがdatetimeなフィールドのyearなどでクエリーを作成する方法でハマった。
#モデル
#db.py
db.define_table('post',
    Field('title'),
    Field('pub_date', 'datetime'),
    format = '%(title)s')

#コントローラー
#default.py
def date():
    rows = db(db.post.pub_date.year == 2014).select()
    return dict(rows=rows)
このようなコードを書いて実行するとdb.post.pub_date.year == 2014がQueryを返さずboolを返していてエラーになっていた。
正しくは
#モデル
#db.py
db.define_table('post',
    Field('title'),
    Field('pub_date', 'datetime'),
    format = '%(title)s')

#コントローラー
#default.py
def date():
    rows = db(db.post.pub_date.year() == 2014).select()
    return dict(rows=rows)
yearではなくyear()にしないとQueryにならなかった。
web2pyは使いやすいがこのへんのドキュメントがないととても困る。

2014年1月30日木曜日

jinja2のcallブロック

callブロックを実行するとcallで指定した関数がキーワード引数"caller"が追加されて呼び出される。

callerの中身は関数で呼び出すとcallブロック内のテキストが取得できる。

戻り値に文字列を設定するとその文字列が出力される。

2014年1月11日土曜日

scrapyではてなブックマークのエントリーを取得する

Scrapyを利用してテクノロジーのホットエントリーを取得する。

Scrapyのインストール

http://doc.scrapy.org/en/0.20/intro/install.htmlを参考にインストールする。
pip install scrapyでインストールする場合lxmlのインストールに失敗する場合は、バイナリーパッケージをインストールした後、pip install scrapy -Iでインストールする。
Ubuntuの場合はhttp://doc.scrapy.org/en/0.20/topics/ubuntu.html#topics-ubuntuを参考にインストールしてもいい。

プロジェクトの作成

チュートリアルを参考にプロジェクトを作成する。

プロジェクトの雛形を作成

scrapy startproject hatena
でプロジェクトの雛形を作成する。

items.pyの更新

hatena/items.pyのHatenaItemクラスを更新して出力するデータ構造を定義する。
今回はtitle,description,user,dateの4つのデータを定義する。


hatena.pyの作成

hatena/hatena/hatena.pyを作成し、ダウンロードするサイトとHTMLからHatenaItemにデータを格納するコードを書く。
今回はテクノロジーのホットエントリーを取得するのでstart_urlsに'http://b.hatena.ne.jp/hotentry/it'を指定する。

HatenaItemにデータを格納

XPathItemLoaderを使用してHatenaItemにデータを格納するため
XPathItemLoderのコンストラクトにitemとselectorを指定する。
selectorだけでなくresponseを指定することもできる。
add_xpathメソッドの引数にHatenaItemのフィールド名とXPathを指定しデータを取得する。XPathで取得したデータが第1引数で指定したアイテムのフィールドに格納される。
load_itemメソッドでItemLoaderからItemを取得する。

プロジェクトを実行する

scrapy crawl hatena
でプロジェクトを実行してスクレイピングを行う。