pip、buildout などを使うとデプロイする時に Python ライブラリの依存関係はややこしいことがあります。 普段はデプロイスクリプトで、 pip に requirements.txt を指定して、もしくは、 buildoutを実行して、 依存ライブラリを落としてインストールしますが、 PYPI がダウンしている場合、環境によって、PYPIにアクセス 出来ない場合もありますので、デプロイが止まってしまって困ります。 PYPIはダウンしている時に pip は PYPI のミラーを使うことができますが、ミラーに必要がパッケージバージョンが入っていない、 ミラーの最後のIDのDNS が ちゃんと動いていないときに、 pip は当然ちゃんと動かない場合も。 bitbucket や、 github からのリポジトリに依存している場合、 接続できなかったら、ミラーがないので、当然インストールできます。

つもり、デプロイは外部サイトに依存していて、デプロイを邪魔する問題が出てくる可能性が高いです。

ローカルで必要なライブラリは既にインストールしているので、それを使えばいいじゃん!と自然に思います。 実は、情報がなくて、あまり使われてないみたいですが、 pip はバンドルを作成する機能があります。バンドルは requirements.txt の依存ライブラリを zip に固めて、そして、 install コマンドで、バンドルから ライブラリをインストールしてくれる機能です。つもり、バンドルさえあれば、PYPIにアクセスしたくても良い。

やったぜ! これを使おう

バンドルを作成するのが簡単:

$ pip bundle -r requirements.txt mybundle.pybundle

インストールも簡単:

$ pip install mybundle.pybundle

もちろん、 virtualenv と組み合わせて使えます。

ファイルの拡張子は pybundle じゃないと install コマンドがバンドルを認識してくれないので、ご注意

バンドルは単の zip ファイル:

$ unzip mybundle.pybundle
...
$ ls
build/  pip-manifest.txt  mybundle.pybundle  src/
$ cat pip-manifest.txt
# This is a pip bundle file, that contains many source packages
# that can be installed as a group.  You can install this like:
#     pip this_file.zip
# The rest of the file contains a list of all the packages included:
# These packages were installed to satisfy the above requirements:
Django==1.3
django-debug-toolbar==0.8.4
South==0.7.3
...

デプロイ

デプロイは Fabric を使います。ローカルで、バンドルを一回作っておけば、依存ライブラリを修正しない限り、 そのまま使えます。

まずは、 バンドルを作成するコマンドを作る。 runs_once() デコレータで一回しか実行しないようにします。 local() メソッドでローカルコマンドを叩きます。

from fabric.decorators import runs_once
from fabric.api import local

@runs_once
def create_bundle():
    u""" 依存ライブラリのバンドルを作り直す """
    local('pip bundle mybundle.pybundle -r requirements.txt')
    print 'Created bundle mybundle.pybundle'

次は、コード自体をアップするコマンドを作ります。下記は、 mercurial を ssh で push しています。

from fabric.api import sudo, cd, local

def _hg_pull():
    local("hg push -r %(revision)s ssh://%(host_string)s/%(base_path)s" % env

def _hg_update():
    with cd(env.base_path):
        sudo("hg update -C -r %(revision)s" % env, user=env.deploy_user)

def push():
    u""" 最新バージョンに更新 """
    _hg_pull(rev)
    _hg_update(rev)

次は依存関係の更新

import os
from fabric.api import sudo, cd, put, local

def update_deps():
    if not os.path.exists('mybundle.pybundle'):
        create_bundle()
    put('mybundle.pybundle', '%(base_path)s/mybundle.pybundle' % env, use_sudo=True)
    with cd(env.base_path):
        sudo('chown %(deploy_user)s:%(deploy_user)s mybundle.pybundle' % env)
        sudo('pip install -E %(venv_path)s mybundle.pybundle' % env)

mercurial の代わりに rsync を使う場合はこんな感じで、一発でできる。

from fabric.contrib.project import rsync_project

RSYNC_EXCLUDE=[".hg"]

def push():
    if not os.path.exists('mybundle.pybundle'):
        create_bundle()
    rsync_project(
        env.base_path,
        exclude=RSYNC_EXCLUDE,
        delete=True,
    )
    with cd(env.base_path):
        sudo('chown %(deploy_user)s:%(deploy_user)s mybundle.pybundle' % env)
        sudo('pip install -E %(venv_path)s mybundle.pybundle' % env)

最後は、deploy コマンドを作る

def deploy():
    push()
    update_deps()

    # DB を更新
    migrate_db()

    # ウェブサーバーを再起動
    reboot_server()

こういう感じで、ローカルとサーバーの接続さえできれば、デプロイできます。 外部サイトに依存したいのが楽過ぎて、逆にいい意味で困ります。