Posted on Thu Jul 29 21:03:37 +0900 2010 by nabeken 
LinuxのLVM + reiserfsで構築していたストレージサーバをZFSでリプレイスする計画の第1弾として、先日リリースされたFreeBSD 8.1-RELEASEでZFSを検証しました。 検証はスムーズに行ったので本番環境を意識してZFS on ROOTに挑戦しました。8.1からは以前よりも簡単になっています。
Booting from ZFS RAID0/5/6 in FreeBSD 8.0-RELEASEを参考にZFS on ROOTの構築を行ないました。自分で理解できなかった部分を補足していきます。
今回使用するディスクはad4, ad6の2台です。
ad6は検証中に構築したZFSのstorage pool(pool名storage)です。これはそのまま使います。
ad4は検証時にFreeBSD 8.1-Rをインストールしたディスクです。sysinstallでデフォルトのスライス構成になっていました。 ある程度portsからインストールしたり、設定を施しているのでこの環境をそっくりZFS上へ載せることにしました。
まずは既存環境のバックアップを行ないます。バックアップ用にひとつファイルシステムを用意します。
# zfs create -o mountpoint=/tmproot storage/tmproot
# cd /
# rsync -avP bin ..... (必要なところ全部) /tmprootバックアップが完了したら、いよいよad4を一度まっさらにします。この作業にはインストーラのFixitモードを使用します。CD/DVD/USBメモリからブートし、インストーラーを起動します。 今回はUSBでブートしました。
USBからブートして、Fixitモードにするところで、デバイスが見つからないというエラーがでます。これは既知の問題で、8.0-RELEASE-i386-memstick fixit - No USB devices found!にその解決方法 があります。一度、トップメニューのOptions→qを押して再スキャン後、再びFixitモードにすると正しくUSBメモリが選択肢に現われます。
ここからは最後の下準備です。ad4のスライス構成を一度まっさらにし、MBRからGPTへパーティション構成を変更します。
# gpart destroy ad4ここでDevice busyのエラーが出る場合があります。その時は残っているパーティションを一度削除する必要があります(cf. Revenge of FreeBSD8 on SheevaPlug)。 どのパーティションが残っているかは以下で調べます。
# gpart show ad4出てきたパーティション番号に対してdeleteしていきます。
# gpart delete -i X ad4すべて消し終えたら改めてdestoryします。
# gpart destroy ad4ここまででディスクの下準備は完了です。次からはパーティションの作成に移ります。
まずはパーティションスキーマを作成します。その前にgpartのマニュアルを一通り目を通してください(On-line Manual of “gpart”)。
# gpart create -s gpt ad4次に3つのパーティションを作成します。
まずは/bootから作成します。
# gpart add -b 34 -s 128 -t freebsd-boot ad4-t に指定している freebsd-boot は適当な文字列ではありません。パーティションタイプを識別するIDです(マニュアルの「パーティションタイプ」)。 -b は開始ブロックアドレス、-sはブロック数です。1ブロック512バイトです。
次はswapを作成します。
# gpart add -b 162 -s 8388608 -t freebsd-swap -l swap0 ad4開始ブロックは前の開始ブロック+ブロック数になります。今回は8388608ブロック(= 4GB)に設定しました。
-l はラベル名です。これを付けると/dev/gpt/swap0 でアクセスできます。
最後にzfs用のパーティションを作成します。
# gpart add -b 8388770 -t freebsd-zfs -l disk0 ad4ブロック数を指定していないので、残りすべてになります。パーティションの準備は完了しました。
zfsからブートするためのbootcodeをインストールします。
# gpart bootcode -b /mnt2/boot/pmbr -p /mnt2/boot/gptzfsboot -i 1 ad4-b は保護用のMBRに、 -p はパーティションにブートストラップをそれぞれインストールします。
ここまででディスクの設定は完了しました。
ZFSはディレクトリを作成するかのようにファイルシステムを作ることができます。 ZFSの管理ドキュメントではユーザそれぞれのホームディレクトリをZFSで管理する例もあるくらいです。
今回は以下のようなファイルシステムを構成します。
ZFSにはファイルシステムを透過的に圧縮する機能(compression)があります。 例えば/var/logなどのテキストファイル中心のものは圧縮による効果が期待できます。 そのため、少し細かくファイルシステムを作成しています。
あとはsetuidの許可、不許可や実行(exec)の許可、不許可もファイルシステム単位で設定できます(これは従来のものでも同じです)。
Booting from ZFS RAID0/5/6 in FreeBSD 8.0-RELEASEではさらに細かくわけていますが、今回はこれで十分と判断しました。
上記のポリシーを元に実際にファイルシステムを作成していきます。 まず、モジュールを読み込みます。
# kldload /mnt2/boot/kernel/opensolaris.ko
# kldload /mnt2/boot/kernel/zfs.koまずstorage poolを作成します。
# zpool create zroot /dev/gpt/disk0
# zpool set bootfs=zroot zrootチェックサムのアルゴリズムをデフォルトより強力なものにします。
# zfs set checksum=fletcher4 zroot以後はファイルシステムを作成していきます。
# zfs create -o compression=on -o exec=on -o setuid=off zroot/tmp
# zfs create zroot/usr
# zfs create zroot/usr/home
# zfs create -o compression=lzjb -o setuid=off zroot/usr/ports
# zfs create -o compression=off -o exec=off -o setuid=off zroot/usr/ports/distfiles
# zfs create -o compression=off -o exec=off -o setuid=off zroot/usr/ports/packages
# zfs create zpool/var
# zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/var/log
# zfs create -o exec=off -o setuid=off zroot/var/empty
# zfs set readonly=on zroot/var/empty
# zfs create -o compression=lzjb -o exec=on -o setuid=off zroot/var/tmpパーミッションを設定します。
# chmod 1777 /zroot/tmp
# chmod 1777 /zroot/var/tmp最後に/homeを/usr/homeにリンクを張ります。
# cd /zroot
# ln -s /usr/home home以後はFreeBSDのインストール作業になります。私の場合はバックアップから書き戻します。 storgeプールをimportします。
# zpool import -f storage
# LD_LIBRARY_PATH=/tmproot/usr/local/lib /usr/local/bin/rsync -avP /tmproot/ /zroot/書き戻しが終われば、loaderの設定を行ないます。
# cat /zroot/boot/loader.conf
vm.kmem_size="512M"
vm.kmem_size_max="4990M"
vfs.zfs.arc_min="128M"
vfs.zfs.arc_max="256M"
vfs.zfs.vdev.cache.size="5M"
vfs.zfs.prefetch_disable=1
vfs.root.mountfrom="zfs:zroot"
zfs_load="YES"mountfromとzfs_loadが肝です。rc.confにも設定が必要です。
# cat /zroot/etc/rc.conf
zfs_enable="YES"参考文献Booting from ZFS RAID0/5/6 in FreeBSD 8.0-RELEASEではloaderを再構築していますが、8.1-RELEASEではその作業は必要ありません。
以後は
が必要です。これは上述の参考文献と同じためそちらを参照してください。