情報技術の四方山話

ヤマハルータ、VPN、無線LAN、Linux、クラウド、仮想サーバと情報セキュリティのよもやま話

ZFS on Ubuntu 16.04 LTSがリリースされています

2016-05-27 09:45:10 | ZFS
匠技術研究所
ZFS on Ubuntu 16.04 LTSがリリースされています


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
ZFSは大容量のファイルサーバーに適した機能を備えています。今やディスクは1Tが簡単に手に入る時代ですから、このような大容量のファイルシステムに適しています。ZFSには重複排除機能があることから、同じファイルが多数置かれる、メールサーバーや、社内や家庭のサーバーとして優れています。

■Ubuntu Server 16.04 LTSでのZFSのインストール
これだけです。標準サポートとなったので、びっくりするほど簡単で、インストール時間も短くなっています。

$ sudo apt-get update
$ sudo apt install zfsutils-linux

インストール後のZFSバージョンの確認
$ sudo dmesg | grep ZFS
[ 620.474754] ZFS: Loaded module v0.6.5.6-0ubuntu3, ZFS pool version 5000, ZFS filesystem version 5
$ sudo dmesg | grep SPL
[ 620.362952] SPL: Loaded module v0.6.5.6-0ubuntu1

Ubuntu wikiのZFS解説ページへ(En)

OpenZFSは、新世代のファイルシステムです。Linux上のOpenZFSは"zfsonlinux.org"プロジェクトが実装し、Ubuntu,RHL,CentOS,OpenSUSEなど代表的な配布仕様(ディストリビューション)をサポートしています。OpenZFSは他のOSにも移植され、illiumos、FreeBSD、Mac OS Xをサポートしており、さらにその先に派生するOSでも利用できるものがあります。




コメント

OpenZFS/zfsonlinux 0.6.5.7がリリースされました

2016-05-16 07:32:46 | ZFS
匠技術研究所
OpenZFS/zfsonlinux 0.6.5.7がリリースされました


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
OpenZFSのLinux実装である、zfsonlinuxが0.6.5.7にアップデートされました。前のバージョンからバグ修正が進んでいます。

最新版のDebian/Ubuntuでは公式パッケージでインストールでき、アップデート作業中に、自動的にソースコードからコンパイルしてインストールされます。そのため、インストールには少し時間がかかります。私の環境では、すんなりとアップデートに成功しました。


zfsonlinux.org(En)


■私のOS情報
$ uname -a
Linux cbkkawa01 3.13.0-86-lowlatency #130-Ubuntu SMP PREEMPT Mon Apr 18 20:34:07 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 14.04.4 LTS
Release: 14.04
Codename: trusty

■アップデート前
$ dmesg | grep ZFS
[ 49.404678] ZFS: Loaded module v0.6.5.6-1~trusty, ZFS pool version 5000, ZFS filesystem version 5
$ dmesg | grep SPL
[ 49.381128] SPL: Loaded module v0.6.5.6-1~trusty

■アップデート
$ sudo apt-get update
$ sudo apt-get dist-upgrade

■アップデート後再起動
$ dmesg | grep ZFS
[ 49.349367] ZFS: Loaded module v0.6.5.7-1~trusty, ZFS pool version 5000, ZFS filesystem version 5
$ dmesg | grep SPL
[ 49.326078] SPL: Loaded module v0.6.5.7-1~trusty

コメント

UbuntuでもZFSonLinuxが0.6.5.5の配布が始まりました

2016-03-13 23:01:01 | ZFS
匠技術研究所
UbuntuでもZFSonLinuxが0.6.5.5の配布が始まりました


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
OpenZFSを源流とするZFSのLinux移植版ZFSonLinuxが2016年3月6日に0.6.5.5をリリースし、各種配布仕様に基づき更新が可能になっています。
2016年3月12日に手元のUbuntu 14.04系を更新したところ、インストールしているZFSonLinuxも最新版になりました。


zfsonlinux.org(En)


$ sudo apt-get dist-upgrade
再起動
$ sudo dmesg | grep ZFS
[ 49.635616] ZFS: Loaded module v0.6.5.5-1~trusty, ZFS pool version 5000, ZFS filesystem version 5
コメント

ZFS on Linux0.6.5.4がリリースされました

2016-01-11 09:30:55 | ZFS
匠技術研究所
ZFS on Linux0.6.5.4がリリースされました


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
2016年1月8日付けでZFS on Linux0.6.5.4がリリースされました。

ZFSはファイルシステムなので、急いでアップデートして、障害があると被害甚大です。配布状況に従ってアップデートすることをおすすめします。


zfsonlinux.org(En)


2016年1月11日07:00 JST現在、Ubuntu系のZFS開発パッケージを配布している“Native ZFS for Linux” team上ではDaily ReleasesとStaging Areaに反映されました。Stable Releasesには未反映です。
“Native ZFS for Linux” team(En)

当然Ubuntuの公式リポジトリへの反映もこれからです。これは、少し時間がかかると思います。

Ubuntu系の方で安定稼働を望まれる場合は、公式リポジトリへの反映まで待った方が良いと思います。

私は、テスト環境に、急ぎパッケージインストールしたいので、launchpad上のDaily Releases版をインストールしました。これは開発リポジトリなので、おすすめしません。Staging Area版の方がリリース待ちなので少し安心感がまします。
コメント

ZFS/OmniOSでのミラー検査scrabに必要な時間の実例

2015-12-30 14:00:20 | ZFS
匠技術研究所
ZFS/OmniOSでのミラー検査scrabに必要な時間の実例


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
ZFSをOmniOSで使っています。OmniOSはOpenSolaisを源流として分岐したオープンソースの基本ソフトの一つです。

ZFSをデーター保管庫に使っています。
物理ディスクは
SSD:基本ソフト、ZFSログ、ZFSキャッシュ
HDD:データー領域。2Tx2枚でミラー構成


基本ソフトからは2Tミラーのデータ領域が物理容量で1.8Tに見えています。
データ領域は重複排除しており、今のところ約1.5倍の領域を持つことができます。

# zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
rpool 22.2G 5.98G 16.3G - 17% 26% 1.00x ONLINE -
zpica 1.81T 338G 1.48T - 20% 18% 1.48x ONLINE -
#

データー領域のより詳細な状態です。一つのファイルでエラーが起こっており、ミラーを検査するscrabの実行中です。
ログとキャッシュの状態も表示されています。

これからも判るように、大容量のファイルシステムは整合性確認に長時間を要します。
約1.8Tデーター領域の約1.5Tを検査するのに必要な時間は8時間弱です。
もちろん、この時間はシステム全体の性能に依存します。

システム構築ではここが肝要なのですが、見落としがちです。

# zpool status zpica
pool: zpica
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://illumos.org/msg/ZFS-8000-8A
scan: scrub in progress since Wed Dec 30 13:29:45 2015
239M scanned out of 338G at 12.6M/s, 7h38m to go
0 repaired, 0.07% done
config:

NAME STATE READ WRITE CKSUM
zpica ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
c3d0 ONLINE 0 0 0
c4d0 ONLINE 0 0 0
logs
c2d0p3 ONLINE 0 0 0
cache
c2d0p2 ONLINE 0 0 0

errors: 1 data errors, use '-v' for a list
#
コメント

最新のzfsonlinuxをUbuntuにインストール、アップデートする方法

2015-10-23 21:32:40 | ZFS
匠技術研究所
最新のzfsonlinuxをUbuntuにインストール、アップデートする方法


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今回は「最新のzfsonlinuxをUbuntuにインストール、アップデートする方法」の紹介です。

■Ubuntu Linuxのバージョン
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 14.04.3 LTS
Release: 14.04
Codename: trusty

■アップデートとバージョン確認手順
# apt-add-repository --yes ppa:zfs-native/stable
# apt-get update
# apt-get upgrade
# reboot
再起動後
# dmesg | grep ZFS
[ 11.303110] ZFS: Loaded module v0.6.5.3-1~trusty, ZFS pool version 5000, ZFS filesystem version 5

■アップデートする前のバージョン
# dmesg | grep ZFS
[ 11.107087] ZFS: Loaded module v0.6.5.2-1~trusty, ZFS pool version 5000, ZFS filesystem version 5

コメント

仮想基盤作り-Linux KVMとOpenZFS/zfsonlinuxで効率良く

2015-09-20 23:52:50 | ZFS
匠技術研究所
仮想基盤作り-Linux KVMとOpenZFS/zfsonlinuxで効率良く


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今回は「仮想基盤作り-LinuxKVMとOpenZFS/zfsonlinuxで効率良く」
この二週間ほど取り組んできたサーバーのテスト環境を構築する話です。

匠技術研究所では、各種サーバーの構築に取り組んでいます。その試験用のサーバーを起動するための仮想基盤はLinux KVMとLinux LXCを使い分けています。Linux KVMはRedHat社が開発をリードする仮想サーバー基盤のハイパーバイザです。KVMは仮想のPCハードウエアを作り、その上で様々な基本ソフトが動作します。

どの仮想化技術でも同じことですが、Linuxをインストールした仮想PCは8G程度の「ファイル」になります。仮想PCは、自身の基本ソフトがインストールされた「イメージファイル」です。この「PCのイメージファイル化」のおかげで開発途中のサーバーを保管することが容易になり、構築途中の各ポイントでのPCの保管ができるようになりました。その保管したPCを複製することも簡単にできます。このことはPCサーバーシステムの構築分野に画期的な変化をもたらしています。

ところが、仮想サーバーを沢山インストールすると、その仮想PCサーバーの分のディスク容量が必要です。この保管用の領域にZFSのdedup(重複排除)を使うことで沢山の仮想PCを納めています。

つづく。
コメント (1)

OpenZFS/zfsonlinux-0.6.5がダウンロード開始へ

2015-09-14 09:24:17 | ZFS
匠技術研究所
OpenZFS/zfsonlinux-0.6.5がダウンロード開始へ


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
OpenZFS/zfsonlinuxの0.6.5がダウンロード開始になりました。このリリースでは0.6.4から140の課題が解決されています。

匠技術研究所ではzfsonlinuxによるZFSファイルサーバーを社内システムとして使っています。現在は0.6.4版で稼働していますが、早々に0.6.5に更新します。0.6になってから、既に5回目のマイナーアップデートですが、それだけ多くの課題が解決され、より安定した稼働が期待できます。

更新に当たってはソースコードからコンパイルするので、時間がかかります。また、サーバーの再起動も必要ですので、サーバー一台あたり30分程度の更新作業時間を見込んでいます。

Ubuntuではパッケージのアップデートを待った方がインストールが簡単です。

■現在のzfsonlinuxのバージョンを表示
まだ0.6.2のままです。
# dmesg |grep 'ZFS'
[ 1.896720] ZFS: Loaded module v0.6.4.2-1~trusty, ZFS pool version 5000, ZFS filesystem version 5

コメント

ZFSonLinuxサーバーのハードを更新しRAMを12Gにしました

2015-09-13 13:32:51 | ZFS
匠技術研究所
ZFSonLinuxサーバーのハードを更新しRAMを12Gにしました


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今回は「ZFSonLinuxサーバーのハードを更新しRAMを12Gにしました」です。

匠技術研究所ではファイルサーバーをZFSに移行しつつあります。これまで仮運用していたPCサーバーを本運用機に変更しました。

■本運用機のポイント
CPUをCore i5に
RAM搭載量の拡大し12Gに
外部ディスクアクセスをUSB3に

■見込めること
ZFSはRAMをたくさん使います。単なるファイル置き場であれば2GのRAMでも動きますが、8GのRAM程度から実用的に使うことができます。12GのRAMを搭載したので、当面充分な余裕を見込めます。もちろん足りなくなれば追加します。

■稼働状況
サーバー起動後、RAMの消費量は512K程度です。これはXFCEのデスクトップが立ち上がり、ファイルアクセスをしていない状況です。もっとRAM消費が少なくなるようにOSを調整することも可能です。外部サーバーからバックアップを取得するなど、サーバーとしての働きを始めるとRAMの消費量は大きく増えます。

$ free
total used free shared buffers cached
Mem: 12165512 506688 11658824 16172 8060 152292
-/+ buffers/cache: 346336 11819176
Swap: 3928060 0 3928060
$

ZFSはデフォルの状態で、重複排除や圧縮はかけていない。
$ sudo zfs get dedup ztama
NAME PROPERTY VALUE SOURCE
ztama dedup off default
$ sudo zfs get dedup zback
NAME PROPERTY VALUE SOURCE
zback dedup off default
$

$ sudo zfs get compression ztama
NAME PROPERTY VALUE SOURCE
ztama compression off default
$ sudo zfs get compression zback
NAME PROPERTY VALUE SOURCE
zback compression off default
$

コメント

OmniOS/illumos - DHCPと固定IPアドレスを設定する

2015-09-09 16:43:18 | ZFS
匠技術研究所
OmniOS/illumos - DHCPと固定IPアドレスを設定する


いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。
今回は「OmniOS/illumos - DHCPと固定IPアドレスを設定する」です。


匠技術研究所では大容量ファイルサーバーにOpenZFSを使い始めており、OpenZFSの開発の本家的な位置づけであるillumosをkernelとするOmniOSで、社内の共有ファイルサーバーの再構築をはじめました。その過程で、調べたことを紹介します。

サーバーOSのインストールが終わると、先ずはネットワークの設定です。

■物理LANインターフェイスの確認
# dladm show-phys
LINK MEDIA STATE SPEED DUPLEX DEVICE
rge0 Ethernet up 1000 full rge0
e1000g0 Ethernet unknown 0 half e1000g0root@cbkkita01:/root#

■物理LANインターフェイスにDHCPを設定
インターフェイスを作成し、稼働を確認後DHCPを設定。設定時にLANケーブルが接続されていなかったのでIPアドレスの取得に失敗している。
# ipadm create-if e1000g0
# dladm show-phys
LINK MEDIA STATE SPEED DUPLEX DEVICE
rge0 Ethernet up 1000 full rge0
e1000g0 Ethernet down 0 half e1000g0
# ipadm create-addr -T dhcp e1000g0/v4
ipadm: warning: Communication with dhcpagent timed out

LANケーブルを接続し、IPアドレスを確認。接続直後はアドレスが取得できていないが、少し間をおいて再度確認するとIPアドレスを取得している。
# ipadm show-addr
ADDROBJ TYPE STATE ADDR
lo0/v4 static ok 127.0.0.1/8
rge0/v4 static ok 192.168.123.12/24
e1000g0/v4 dhcp ok ?
lo0/v6 static ok ::1/128

# ipadm show-addr
ADDROBJ TYPE STATE ADDR
lo0/v4 static ok 127.0.0.1/8
rge0/v4 static ok 192.168.123.12/24
e1000g0/v4 dhcp ok 192.168.123.35/24
lo0/v6 static ok ::1/128root@cbkkita01:/root#

■固定IPの設定
インターフェイスに固定IPを割り当て、デフォルト・ゲートウエイ及びDNSの設定を行う。
# ipadm create-addr -T static -a 192.168.123.12/24 rge0/v4
# route -p add default 192.168.123.1

ここまでで経路情報を確認。テスト機なのでひとつはスタティック、もうひとつはDHCPになっている。
# netstat -rn -finet

Routing Table: IPv4
Destination Gateway Flags Ref Use Interface
-------------------- -------------------- ----- ----- ---------- ---------
default 192.168.123.1 UG 1 0 e1000g0
default 192.168.123.1 UG 2 72
127.0.0.1 127.0.0.1 UH 2 36 lo0
192.168.123.0 192.168.123.35 U 4 161 e1000g0
192.168.123.0 192.168.123.12 U 4 1136 rge0

DNSの設定を行う。resolv.confだけではなく、nsswitch.confも設定する。現在の設定を保管し、デフォルト設定例のファイルに置換した。
# echo 'nameserver 192.168.1.1' >> /etc/resolv.conf
# cp /etc/nsswitch.conf{,.bak}
# cp /etc/nsswitch.{dns,conf}

ここまでで、インターネット接続が可能になります。
コメント

8月18日(火)のつぶやき

2015-08-19 02:10:47 | ZFS

Ubuntu MATEをインストールしています。しばらく試してみます。これまではUbuntuStudioでした。これはこれでたいへん良いのですが、一旦普通のUbuntuに戻る必要があり、MATEを選択しました。楽しみです。


私のASUS X205TAはWindows 10にしてから、バッテリーの持ちが良くなり、ますます使いやすくなりました。これだけでも、Windows 10にして良かったと思っています。


ASUS X205TAをWin10にしまたが、フル充電状態で12時間30分も充電池が保つ表示になっています。もちろん話半分でも6時間ですから、私の使いかたですと、余裕を持って使うことができます。これはありがたいことです。


zfsonlinuxの使い方がだいぶん判ってきました。社内ファイルサーバーを徐々にZFS化しています。バックエンドファイルシステムの入れ替えは、まったりです。どうもZFSとmdを両方インストールすると、おかしくなる感があります。新設サーバはZFSデータ+XFSでのOS起動です。


コメント

8月17日(月)のつぶやき

2015-08-18 02:10:19 | ZFS

こんばんは。今日も終わりに近づいています。あっという間に過ぎてしまいました。明日はヤマハ通信機器設定講座の開催日で、週末の匠塾に続いての開催です。楽しみです。


コメント

8月16日(日)のつぶやき

2015-08-17 02:11:53 | ZFS

「「匠塾-IP通信障害対応演習-入門編」内容紹介‐ネット接続」 goo.gl/8djTi0


コメント

8月15日(土)のつぶやき

2015-08-16 02:11:25 | ZFS

今日のIP通信障害演習は、ほんとうに様々な障害が出てきました。中には「こんなことが起こるの?」とびっくりすることも含まれており、現場の臨場感あふれる一日になりました。また開催します。


さて、帰って休もう。お休みなさい。


コメント

8月14日(金)のつぶやき

2015-08-15 02:13:38 | ZFS

ドキュメントと現場写真の食い違いが判明し、急遽現場状況を再確認しました。現場第一主義で取り組んでいます。既設のネットワークをじんわりと、安全性の高いものに作り変えます。ほぼノンストップで移行するので、移行計画はたいへんです。だいぶん目途がついてきました。


いよいよ明日は「IP通信障害対応演習-入門編」の開催日です。Linuxを使って基本的なネットワーク障害の切り分け演習を行います。実際にパソコンにLinuxをインストールして使います。これからの時代のツールを使った、極めて実践的な演習です。


「zfsonlinuxのバージョンを確認するには」 goo.gl/n85FbW


コメント