ZFSの重複排除で容量が増え、1.8Tがまもなく20Tに

ZFSの重複排除で容量が増え、1.8Tがまもなく20Tに


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今回は「ZFSの重複排除で容量が増え、1.8Tがまもなく20Tに」の紹介です。

ZFSonLinuxを試しています。今回はdedupという重複排除機能のテストです。
もともと、単純にZFSシステムでの読み書きアクセス速度の把握と、ある程度のストレステストを行っていました。テストプログラムはpostmarkでUbuntuの場合はapt-getでインストールできます。

postmarkは単純なファイルシステムのテストプログラムです。作成するファイル数、格納するサブディレクトリ数、作成するファイルの容量の範囲、読み出しの回数などを指定して実行します。この数値を調整すると大容量のファイルを一気に数十万作成し、読み取り試験後、一気に消すところまでを自動で実行します。

そのプログラムで、500Kから512Mの大きさのファイルを100,000程作るように指示しました。ディスクフルになるなら、その終わり方も見ておきたいという期待があったからです。金曜日の深夜よりpostmarkは、どんどんファイルを作っていますが、どうも同じ内容が書かれているようで、ZFSの重複排除機能の作用により、なかなかディスクフルを迎えることができません。

今は、なんと1.8T弱のディスクに20T弱のファイルが書かれました。素晴らしい重複排除の性能です。まだ、postmarkは黙々とファイルを作り続け、ZFSは黙々と重複排除してディスクに収めています。

もうテストは充分なので、このブログを書いた後にpostmarkを止めます。

■現在のディスク利用状況
Mega Bytes単位での表示です。
takumi@storage:~$ sudo df -m
Filesystem 1M-blocks Used Available Use% Mounted on
/dev/sdd1 52414 27840 21889 56% /
none 1 0 1 0% /sys/fs/cgroup
udev 3697 1 3697 1% /dev
tmpfs 748 2 747 1% /run
none 5 0 5 0% /run/lock
none 3740 1 3740 1% /run/shm
none 100 1 100 1% /run/user
spool 1487163 1 1487163 1% /spool
spool/data 21659477 20172314 1487163 94% /mnt/data
spool/data20g 20480 15818 4663 78% /mnt/data20g
spool/shares 1487163 1 1487163 1% /mnt/shares

■各ファイルシステムの様子
takumi@storage:~$ sudo zfs list
NAME USED AVAIL REFER MOUNTPOINT
spool 19.3T 1.42T 96K /spool
spool/data 19.2T 1.42T 19.2T /mnt/data
spool/data20g 15.4G 4.55G 15.4G /mnt/data20g
spool/shares 100K 1.42T 100K /mnt/shares

■poolの情報
DEDUPが1820.39xと、驚くべき重複削減効果です。
takumi@storage:~$ sudo zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
spool 1.81T 67.4G 1.75T 16.0E 6% 3% 1820.39x ONLINE -

■poolの障害情報
spoolには障害がありません。
takumi@storage:/mnt/data$ sudo zpool status
[sudo] password for takumi:
pool: spool
state: ONLINE
scan: scrub repaired 0 in 0h14m with 0 errors on Tue May 12 05:58:47 2015
config:

NAME STATE READ WRITE CKSUM
spool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sdb ONLINE 0 0 0
sdc ONLINE 0 0 0
spares
sda AVAIL

errors: No known data errors
takumi@storage:/mnt/data$

■RAMの消費状況
合計8Gで、少しスワップが発生しています。GUIを起動したままなので、GUIの起動を止めるとスワップ無しで動く可能性があります。

takumi@storage:~$ free
total used free shared buffers cached
Mem: 7658140 7261212 396928 11640 137012 656628
-/+ buffers/cache: 6467572 1190568
Swap: 7860220 7564 7852656
takumi@storage:~$