GEOM MIRROR (ミラーリング/RAID1) を使ってみる (1)

今回は GEOM によるディスクのミラーリング (RAID1) について纏めてみたいと思います．
ミラーリングは複数のディスクに対して同じデータを格納し、ディスク障害が発生してもデータの損失を防ぐ技術です．コンカチやストライピングと違いディスク容量は増えません．

• GEOM に関するお話
  • FreeBSD GEOM 再々学習
  • GEOM CONCAT (ディスクの連結) を使ってみる
  • GEOM STRIPE (ストライプ/RAID0) を使ってみる
  • GEOM MIRROR (ミラーリング/RAID1) を使ってみる (1)
  • GEOM MIRROR (ミラーリング/RAID1) を使ってみる (2)
  • GEOM STRIPE + MIRROR で RAID10 を構成してみる
  • GEOM RAID3を使ってみる
  • GEOM CACHE を使ってみる
  • GEOM GVIRSTORを使ってみる
  • GEOM GATE を使ってみる
  • GEOM LABEL で名前による管理を行う
  • GEOM PART でディスクパーティションの管理を行う
  • GEOM MULTIPATH でマルチパスを構成する (1)
  • GEOM MULTIPATH でマルチパスを構成する (2)

GEOM MIRROR のイメージ

ミラーリングのイメージはこのような形です．ディスクが2本の場合，３本の場合を表しています．

GEOM MIRROR の利用・管理

GEOM MIRROR は gmirror というコマンドを通じて利用・管理を行います．簡単に触れますが，詳細はコマンドのオプションの詳細は FreeBSD の マニュアル「gmirror」を見てください．

# gmirror
usage: gmirror activate [-v] name prov ...
       gmirror clear [-v] prov ...
       gmirror configure [-adfFhnv] [-b balance] [-s slice] name
       gmirror configure [-v] -p priority name prov
       gmirror create [-Fnv] [-b balance] [-s slice] name prov ...
       gmirror deactivate [-v] name prov ...
       gmirror destroy [-fv] name ...
       gmirror dump prov ...
       gmirror forget name ...
       gmirror label [-Fhnv] [-b balance] [-s slice] name prov ...
       gmirror insert [-hiv] [-p priority] name prov ...
       gmirror rebuild [-v] name prov ...
       gmirror remove [-v] name prov ...
       gmirror resize [-s size] [-v] name
       gmirror stop [-fv] name ...
       gmirror help
       gmirror list [-a] [name ...]
       gmirror status [-ags] [name ...]
       gmirror load [-v]
       gmirror unload [-v]

GEOM 関連のコマンドは gconcat の際にも触れましたが create と label の両方があり分かりづらいのですが，create は一時的，label は恒久的と覚えるのがよいです．

create で作った場合はどうなるのか?

create で作成してマウント，再起動を行うとどのようになるのかを以下に一連の流れを記載します．

gmirror create コマンドで ディスク da1 と da2 をミラーリングして mirror0 を作成します．

# kldload geom_mirror
# gmirror create mirror0 da1 da2

gconcat や gstripe の場合はコマンド実行時に自動でカーネルモジュールがロードされるのですが，gmirror は「gmirror: Class not found: “MIRROR”」というエラーが出力されてしまいます．
ですのでコマンド実行前に明示的にモジュールをロードさせてから gmirror コマンドを実行しています．

# kldstat
Id Refs Address                Size Name
 1   10 0xffffffff80200000  1f3e2d0 kernel
 2    1 0xffffffff82319000     3218 intpm.ko
 3    1 0xffffffff8231d000     2180 smbus.ko
 4    1 0xffffffff82320000     7490 vmci.ko
 5    1 0xffffffff82328000     fef0 geom_mirror.ko

また，再起動時に必ず有効になるように明示的にロードさせる必要があります．

# cat /boot/loader.conf
geom_mirror_load="YES"

gmirror status コマンドでステータスを表示できます．
以下は mirror0 のステータスです．da1, da2 がコンポーネントとして含まれており，ステータスが COMPLETE の状態です．
COMPLETE の状態とは，このミラーリングで指定しているディスクの同期が取れている状態となります．

# gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)

gmirror list コマンドで詳細を表示する事ができます．
da1, da2 が 100GB のディスクでこれを RAID1 でミラーリングしている為，mirror0 は 100G となっています．

# gmirror list
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 2029918663
Type: MANUAL
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r0w0e0
Consumers:
1. Name: da1
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 0
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 3804043814
2. Name: da2
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 1
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 3614838224

newfs でファイルシステムを作成します．指定するデバイスは GEOM MIRROR の場合は /dev/mirror 以下に指定した名前のデバイスファイルが作成されますので，これを指定します．
今回は create の際に mirror0 を名前としたため，/dev/mirror/mirror0 がデバイスファイルとなります．

# newfs /dev/mirror/mirror0
/dev/mirror/mirror0: 102400.0MB (209715200 sectors) block size 32768, fragment size 4096
        using 164 cylinder groups of 625.22MB, 20007 blks, 80128 inodes.
super-block backups (for fsck_ffs -b #) at:
 192, 1280640, 2561088, 3841536, 5121984, 6402432, 7682880, 8963328, 10243776, 11524224, 12804672, 14085120, 15365568,
 16646016, 17926464, 19206912, 20487360, 21767808, 23048256, 24328704, 25609152, 26889600, 28170048, 29450496, 30730944,
 32011392, 33291840, 34572288, 35852736, 37133184, 38413632, 39694080, 40974528, 42254976, 43535424, 44815872, 46096320,
....

マウントおよびマウントの結果です．/mnt にマウントをしています．
これを /etc/fstab に記載した状態で再起動を行ってみます．

# mount /dev/mirror/mirror0 /mnt

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2590868 15146052    15%    /
devfs                       1       1        0   100%    /dev
/dev/mirror/mirror0 101561756       8 93436808     0%    /mnt

# cat /etc/fstab
# Device        Mountpoint      FStype  Options Dump    Pass#
/dev/da0p2      /               ufs     rw      1       1
/dev/da0p3      none            swap    sw      0       0
/dev/mirror/mirror0     /mnt    ufs     rw      1       1

残念な事に (想定どおりです)，デバイスが無く起動途中に失敗してしまっています．
これは create で作成した為，ディスクに GEOM MIRROR の情報が記録されてい為作成したデバイスが存在しておらず，この状態となります．

恒久的に使う場合は label を利用しよう

先ほどと変わって create ではなく label で mirror0 を作成しました．

# gmirror label mirror0 da1 da2

同じディスクを同じように指定している為，status および list の結果は先ほどと変わりません．
また，create で作成した際に newfs していますが，再作成の際にディスク連結順番に変更を入れていませんのでファイルシステムとしては正しく生成された状態となっていますのでこのままマウントさせる事も可能です．

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)
root@bsd13:~ # gmirror list mirror0
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 4078222260
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r0w0e0
Consumers:
1. Name: da1
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 0
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 3192641748
2. Name: da2
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 1
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 159192916

ですので，create と label を間違った… という場合でも正しくコマンドを発行してあげる事で今までの状態を復元できますので，データがなくなってしまった．という事は起きませんので安心してください．
いずれにせよ… label で作成しましょう．が教訓となりますが…

# mount /dev/mirror/mirror0 /mnt

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2590884 15146036    15%    /
devfs                       1       1        0   100%    /dev
/dev/mirror/mirror0 101561756       8 93436808     0%    /mnt

IOについて確認してみる

ミラーリングですので，ミラーしているディスク全てに同じデータが書き込まれます．実際にどの様な IO が発生しているのかを確認してみます．

dd でランダムデータを生成，random.img としてファイル書き込みの IO を発生させました．
見て頂くと分かる通り da1 と da2 の両方に IO がかかっています．
このことから，分散してのディスクの読み書きが行われる事が分かります．

# dd if=/dev/random of=/mnt/random.img

# iostat 2
       tty             da0              da1              da2             cpu
 tin  tout KB/t  tps  MB/s  KB/t  tps  MB/s  KB/t  tps  MB/s  us ni sy in id
   0     4 17.7    0   0.0   223    0   0.0   230    0   0.0   0  0  0  0 100
   0   231 32.0    0   0.0   256   45  11.2   256   53  13.2   1  0  4  0 96
   0   159  0.0    0   0.0   256   34   8.6   256   39   9.8   0  0  4  0 96
   0    81  0.0    0   0.0   255  156  38.8   254  142  35.3   1  0 16  0 83
   0    79  0.0    0   0.0   256  116  29.1   256  114  28.6   1  0 11  0 88

# ls /mnt
.snap           random.img

イメージとしてはこのような形ですね．

GEOM RAID MIRROR デバイスを管理する

ミラーデバイスを追加する

ミラー先を追加，取り外しを行う事でのバックアップ運用が可能です．2つ以上のディスクをローテーションして管理する事で複数世代のバックアップも可能です．
もちろん，オペミスだったり，取り外したディスクの管理 (静電袋に入れてエアキャップ保存とか) は重要になります．

ミラーの追加は insert サブコマンドを使用して行う事が可能です．
追加後のステータスを確認すると DEGRADED 状態となり，追加したデバイスが SYNCHRONIZING として同期中である事を確認できます．

# gmirror insert mirror0 da3

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  DEGRADED  da1 (ACTIVE)
                          da2 (ACTIVE)
                          da3 (SYNCHRONIZING, 3%)

ミラーデバイスを取り外す

同期が完了したら取り外す事が可能です．
取り外しは remove サブコマンドを使用して行う事が可能です．

まずはステータスが COMPLETE である事を確認します．
その次に remove でディスクをミラーから切り離します．その後，切り離しが完了した事を確認します．
この場合は da3 を切り離しを行っており，status で表示されない状態になっていればディスク本体の取り外しが可能な状態となります．

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)
                          da3 (ACTIVE)

# gmirror remove mirror0 da3

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)

ディスクを拡張する

ディスク というか，ファイルシステムを拡張する事が可能です．
今回説明するシチュエーションとしては，da1, da2 を玉突きで大きいディスクに置き換えていく．というシチュエーションを想定して説明します．

このようなイメージで da1 を取り外し，大きなディスクに交換の上ミラーに組み込み．
da2 を取り外し，大きなディスクに交換の上ミラーに組み込み．という流れとなります．

まずは remove でディスクを取り外します．

# gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)
# gmirror remove mirror0 da1
# gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da2 (ACTIVE)

次に容量の大きいディスクと交換し insert サブコマンドを実行して mirror0 に組み込みます．
status サブコマンドで確認するとリビルド処理が走っている事が確認できます．

また，list サブコマンドで確認すると da1 が 150GB である事が確認できます．

# gmirror insert mirror0 da1

# gmirror status
          Name    Status  Components
mirror/mirror0  DEGRADED  da2 (ACTIVE)
                          da1 (SYNCHRONIZING, 0%)

# gmirror list
Geom name: mirror0
State: DEGRADED
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 3318650467
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r2w1e1
Consumers:
1. Name: da2
   Mediasize: 107374182400 (100G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 1
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 3061855275
2. Name: da1
   Mediasize: 161061273600 (150G)
   Sectorsize: 512
   Mode: r1w1e1
   State: SYNCHRONIZING
   Priority: 0
   Flags: DIRTY, SYNCHRONIZING
   GenID: 0
   SyncID: 1
   BytesSynced: 1282408448
   Synchronized: 1%
   ID: 1348065949

status サブコマンドで COMPLETE である事を確認し，remove サブコマンドで da2 の切り離しを行います．
その後容量の大きいディスクに入れ替えて insert サブコマンドで mirror0 に組み込みます．
status サブコマンドでリビルド処理が行われている事を確認します．

# gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da2 (ACTIVE)
                          da1 (ACTIVE)

# gmirror remove mirror0 da2

# gmirror status
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)

# gmirror insert mirror0 da2

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  DEGRADED  da1 (ACTIVE)
                          da2 (SYNCHRONIZING, 0%)

この際，list サブコマンドで確認すると，da1，da2 の両方が 150GB ですが，mirror0 は 100GB のままとなっています．
この点についてはリビルドが完了したら拡張を行う流れになります．

# gmirror list mirror0
Geom name: mirror0
State: DEGRADED
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 3318650467
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 107374181888 (100G)
   Sectorsize: 512
   Mode: r2w1e1
Consumers:
1. Name: da1
   Mediasize: 161061273600 (150G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 0
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 1348065949
2. Name: da2
   Mediasize: 161061273600 (150G)
   Sectorsize: 512
   Mode: r1w1e1
   State: SYNCHRONIZING
   Priority: 0
   Flags: DIRTY, SYNCHRONIZING
   GenID: 0
   SyncID: 1
   BytesSynced: 9633267712
   Synchronized: 8%
   ID: 2184573350

リビルドが完了したら，resize サブコマンドを実行して mirror0 の拡張を行います．
その後 list サブコマンドで mirror0 の容量が増えている事を確認します．

# gmirror status mirror0
          Name    Status  Components
mirror/mirror0  COMPLETE  da1 (ACTIVE)
                          da2 (ACTIVE)

# gmirror resize mirror0

# gmirror list
Geom name: mirror0
State: COMPLETE
Components: 2
Balance: load
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 3318650467
Type: AUTOMATIC
Providers:
1. Name: mirror/mirror0
   Mediasize: 161061273088 (150G)
   Sectorsize: 512
   Mode: r1w1e1
Consumers:
1. Name: da1
   Mediasize: 161061273600 (150G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 0
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 1348065949
2. Name: da2
   Mediasize: 161061273600 (150G)
   Sectorsize: 512
   Mode: r1w1e1
   State: ACTIVE
   Priority: 0
   Flags: NONE
   GenID: 0
   SyncID: 1
   ID: 2184573350

ただし，まだこの時点ではファイルシステムは現状のままですので growfs でファイルシステムを拡張する必要があります．
growfs はオンライン (マウントした状態) で実施可能です．growfs 実施前後の df の結果を見ると正しく拡張されている事が確認できます．

# df
Filesystem          1K-blocks    Used    Avail Capacity  Mounted on
/dev/da0p2           19279260 2590916 15146004    15%    /
devfs                       1       1        0   100%    /dev
/dev/mirror/mirror0 101561752   89608 93347204     0%    /mnt

# growfs /dev/mirror/mirror0
Device is mounted read-write; resizing will result in temporary write suspension for /mnt.
It's strongly recommended to make a backup before growing the file system.
OK to grow filesystem on /dev/mirror/mirror0, mounted on /mnt, from 100GB to 150GB? [yes/no] yes
super-block backups (for fsck_ffs -b #) at:
 209993664, 211274112, 212554560, 213835008, 215115456, 216395904, 217676352, 218956800, 220237248, 221517696, 222798144,
 224078592, 225359040, 226639488, 227919936, 229200384, 230480832, 231761280, 233041728, 234322176, 235602624, 236883072,
 238163520, 239443968, 240724416, 242004864, 243285312, 244565760, 245846208, 247126656, 248407104, 249687552, 250968000,
 252248448, 253528896, 254809344, 256089792, 257370240, 258650688, 259931136, 261211584, 262492032, 263772480, 265052928,
...

# df
Filesystem          1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2           19279260 2590916  15146004    15%    /
devfs                       1       1         0   100%    /dev
/dev/mirror/mirror0 152342680   89608 140065660     0%    /mnt

GEOM MIRROR デバイスを終了 (破壊) する

ファイルシステムとして用済みになった．であったり，別用途に転用する為に初期化したい場合を説明します．

当然ながら，ファイルシステムはアンマウントする必要があります．
また，完全に終了 (停止・破壊) する場合は stop ではなく destroy を利用します．

# umount /mnt
# gmirror destroy mirror0
# gmirror list

もし間違って destory を実行してしまった場合ですが，これだけのオペレーションの場合だと label 情報がなくなっただけなので，再度 label を同じ引数で渡すことで復活させる事が可能です．
やらかしてしまった… という事案の場合は慌てずにそっと元に戻しましょう．

# gmirror label mirror0 da1 da2
# mount /dev/mirror/mirror0 /mnt
# df
Filesystem          1K-blocks    Used     Avail Capacity  Mounted on
/dev/da0p2           19279260 2590920  15146000    15%    /
devfs                       1       1         0   100%    /dev
/dev/mirror/mirror0 152342680   89608 140065660     0%    /mnt

# ls /mnt
.snap           random.img

以上で～ と終わりたい所ではあるのですが，拡張については他の手法もありますので次回はそれについて触れていきたいと思います．