2014年2月9日日曜日

web2pyのクエリー

web2pyでtypeがdatetimeなフィールドのyearなどでクエリーを作成する方法でハマった。
#モデル
#db.py
db.define_table('post',
    Field('title'),
    Field('pub_date', 'datetime'),
    format = '%(title)s')

#コントローラー
#default.py
def date():
    rows = db(db.post.pub_date.year == 2014).select()
    return dict(rows=rows)
このようなコードを書いて実行するとdb.post.pub_date.year == 2014がQueryを返さずboolを返していてエラーになっていた。
正しくは
#モデル
#db.py
db.define_table('post',
    Field('title'),
    Field('pub_date', 'datetime'),
    format = '%(title)s')

#コントローラー
#default.py
def date():
    rows = db(db.post.pub_date.year() == 2014).select()
    return dict(rows=rows)
yearではなくyear()にしないとQueryにならなかった。
web2pyは使いやすいがこのへんのドキュメントがないととても困る。

2014年1月30日木曜日

jinja2のcallブロック

callブロックを実行するとcallで指定した関数がキーワード引数"caller"が追加されて呼び出される。

callerの中身は関数で呼び出すとcallブロック内のテキストが取得できる。

戻り値に文字列を設定するとその文字列が出力される。

2014年1月11日土曜日

scrapyではてなブックマークのエントリーを取得する

Scrapyを利用してテクノロジーのホットエントリーを取得する。

Scrapyのインストール

http://doc.scrapy.org/en/0.20/intro/install.htmlを参考にインストールする。
pip install scrapyでインストールする場合lxmlのインストールに失敗する場合は、バイナリーパッケージをインストールした後、pip install scrapy -Iでインストールする。
Ubuntuの場合はhttp://doc.scrapy.org/en/0.20/topics/ubuntu.html#topics-ubuntuを参考にインストールしてもいい。

プロジェクトの作成

チュートリアルを参考にプロジェクトを作成する。

プロジェクトの雛形を作成

scrapy startproject hatena
でプロジェクトの雛形を作成する。

items.pyの更新

hatena/items.pyのHatenaItemクラスを更新して出力するデータ構造を定義する。
今回はtitle,description,user,dateの4つのデータを定義する。


hatena.pyの作成

hatena/hatena/hatena.pyを作成し、ダウンロードするサイトとHTMLからHatenaItemにデータを格納するコードを書く。
今回はテクノロジーのホットエントリーを取得するのでstart_urlsに'http://b.hatena.ne.jp/hotentry/it'を指定する。

HatenaItemにデータを格納

XPathItemLoaderを使用してHatenaItemにデータを格納するため
XPathItemLoderのコンストラクトにitemとselectorを指定する。
selectorだけでなくresponseを指定することもできる。
add_xpathメソッドの引数にHatenaItemのフィールド名とXPathを指定しデータを取得する。XPathで取得したデータが第1引数で指定したアイテムのフィールドに格納される。
load_itemメソッドでItemLoaderからItemを取得する。

プロジェクトを実行する

scrapy crawl hatena
でプロジェクトを実行してスクレイピングを行う。

2012年10月20日土曜日

Ubuntuを12.10にアップデート

Ubuntuを12.10にアップデートしたら色々と問題が発生した。

  1. Unity Launcherを自動的に消す設定にしたらカーソルを左端に移動させてもLauncherが消えたまま。
  2. Synapticでリポジトリの設定をやろうとしてもアップデートで無効になった項目を一切いじれない。
アップデートしてよかった点も特になかったし使いづらくなった。

2012年6月16日土曜日

Ubuntu 12.04でYoutubeのFlash動画が青色になるの続き

/etc/adobe/mms.cfgを修正して直ったように見えていたが今度はUstreamでも同じ現象が発生して修正できなくなった。それ以外にもFlashを使っている動画サイトですぐにFlashがクラッシュしてまともに見れない現象も発生した。
最終的にはFlashのバージョンを11.1に戻して対処した。
今のところ問題は発生してないがあまりおすすめしない。

2012年5月3日木曜日

Ubuntu 12.04でYoutubeのFlash動画が青色になる

/etc/adobe/mms.cfgに
EnableLinuxHWVideoDecode=1
OverrideGPUValidation=true
を記入する。

そのために以下のようなコマンドを入力する。
/etc/adobe/フォルダがない場合
sudo mkdir /etc/adobe

echo -e "EnableLinuxHWVideoDecode=1\nOverrideGPUValidation=true" | sudo tee /etc/adobe/mms.cfg > /dev/null

2012年4月7日土曜日

Mercurialのドキュメント作成

Mercurialのドキュメントを作ろうとgendoc.pyを実行した。
その結果、中途半端に日本語化されたドキュメントが出来た。
helpだと日本語化されているのでおかしいと思い調べてみたら、2ヶ所gettextをコールせずに文字列を出力していて、そのせいで英語になっていた。