ZFSonLinuxの重複排除（dedup）で1.8Tの物理容量に100Tの論理容量を記録

ZFSonLinuxの重複排除（dedup）で1.8Tの物理容量に100Tの論理容量を記録


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今日は「ZFSonLinuxの重複排除機能で1.8Tの物理容量に100Tの論理容量を記録」です。
先般より、ファイルシステムのテストプログラムpostmarkでZFSの重複排除(dedup)を使った環境をテストしています。テストプログラムは同じ内容を、異なるサイズで書き出しており、ファイルシステムの重複排除機能でファイル中の重複部分を検出して、効率よくディスクに書きこまれています。その結果、物理容量の60倍ほどの容量を蓄積しました。ZFSファイルシステムはミラー化されています。また、SATA2接続の512セクタの古い物理ディスクなので、書き込み速度は遅い部類です。

postmarkプログラムは、約16日間ファイルを書き出し続けています。この間、ZFSファイルシステムも正常に動き続けており、問題ありません。延々と書き出しを続けています。

LinuxにZFSを使うことで、この重複排除機能を使い効率よくデーターを格納することの実証ができました。弊社のファイルサーバーはLinux/ext4/mdを使っていますが、順次Linux/ZFSに変更していきます。弊社がお客様のために設置するファイルサーバーも、社内運用で問題がなければ、切り替えていきます。

Linux/ZFSを運用する際の注意点は、システムのアップデートです。Linuxの上のZFSは必ずコンパイルしてインストールされることです。

■Linuxから見た100Tを超える記録容量
ZFSの重複排除機能が働き、1.8Tのディスクに約100Tを記録しています。まだ僅かに余裕があります。
root@storage:~# df -m
Filesystem 1M-blocks Used Available Use% Mounted on
/dev/sdd1 52414 27653 22077 56% /
none 1 0 1 0% /sys/fs/cgroup
udev 3697 1 3697 1% /dev
tmpfs 748 2 747 1% /run
none 5 0 5 0% /run/lock
none 3740 1 3740 1% /run/shm
none 100 1 100 1% /run/user
spool 3 1 3 5% /spool
spool/data 106668081 106668078 3 100% /mnt/data
spool/data20g 15820 15818 3 100% /mnt/data20g
spool/shares 3 1 3 5% /mnt/shares
root@storage:~#

■ZFSから見た100Tを超える記録容量
root@storage:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
spool 102T 3.03M 96K /spool
spool/data 102T 3.02M 102T /mnt/data
spool/data20g 15.4G 3.02M 15.4G /mnt/data20g
spool/shares 100K 3.03M 100K /mnt/shares
root@storage:~# zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
spool 1.81T 201G 1.62T 16.0E 14% 10% 1784.07x ONLINE -

■ZFSファイルシステムは正常稼働中
root@storage:~# zpool status
pool: spool
state: ONLINE
scan: scrub repaired 0 in 0h14m with 0 errors on Tue May 12 05:58:47 2015
config:

NAME STATE READ WRITE CKSUM
spool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sdb ONLINE 0 0 0
sdc ONLINE 0 0 0
spares
sda AVAIL

errors: No known data errors