FYI: Speed on HFS+ tanks while ZFS scrubs

[jollyjinx]

I'm a longterm Zevo and FreeBSD ZFS user and I'm evaluating O3X. I've built O3X from the sources on github and I'm running it on a MBPr, OSX 10.10.

I have O3X ZFS on a external HDD connected via USB3.0 and it runs fine, except that the internal HFS+ SSD gets extremly slow while ZFS is doing a scrub on the USB disk. As well as the systems seems to come to a complete I/O halt sometimes, but recovers after some time.

The slowdown during scrub I can verify easily, so I thought I show you my results:

1. I start a scrub on the external ZFS disk (disk3, ZFS ) scrub performs about 100MB/s
2. I start a duplication of file ( you see 20MB/s) on the internal SSD (disk0 , HFS+)
3. I stop zfs scrub as you see
3. Performance on HFS+ is back to normal ( >350MB/s)

Code: Select all

          disk0           disk3       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
   48.59 251 11.91   123.35 300 36.14   5  5 91  0.98 1.13 1.23
   21.33   6  0.12     0.00   0  0.00   2  1 97  0.98 1.13 1.23
    0.00   0  0.00     0.00   0  0.00   2  1 97  0.98 1.13 1.23
    0.00   0  0.00     0.00   0  0.00   2  1 97  0.98 1.13 1.23
   40.00   2  0.08     0.00   0  0.00   2  1 97  0.98 1.13 1.23
    4.00   1  0.00     0.00   0  0.00   3  2 95  0.98 1.12 1.23
    0.00   0  0.00     0.00   0  0.00   4  2 94  0.98 1.12 1.23
    0.00   0  0.00     0.00   0  0.00   2  1 98  0.98 1.12 1.23
   14.75  78  1.12    11.87  56  0.65   3  2 96  0.98 1.12 1.23  scrub starts here
    0.00   0  0.00     4.90 103  0.49   2  1 96  0.98 1.12 1.23
    8.00   2  0.02     7.98 127  0.99   3  2 95  0.90 1.11 1.22
    0.00   0  0.00     3.69 146  0.53   5  2 93  0.90 1.11 1.22
   28.00   2  0.05     5.84 128  0.73   4  2 94  0.90 1.11 1.22
    0.00   0  0.00     3.93 127  0.49   2  2 96  0.90 1.11 1.22
  104.63  83  8.48     5.03 117  0.57   9  2 89  0.90 1.11 1.22
   56.00   1  0.05     6.15 132  0.79   4  2 94  0.91 1.10 1.22
    0.00   0  0.00     8.16 168  1.34   1  1 97  0.91 1.10 1.22
    0.00   0  0.00   127.69 795 99.18   1  4 95  0.91 1.10 1.22   scrub now at speed
    0.00   0  0.00   128.00 881 110.08   3  5 92  0.91 1.10 1.22
    0.00   0  0.00   128.00 794 99.30   1  4 95  0.91 1.10 1.22
          disk0           disk3       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
    0.00   0  0.00   126.76 765 94.67   2  4 94  0.92 1.10 1.22
    7.12  32  0.22   127.12 833 103.43   5  6 89  0.92 1.10 1.22
   33.33  12  0.39   119.68 765 89.47   5  5 90  0.92 1.10 1.22
   19.75 718 13.85   127.14 854 106.00   3  7 91  0.92 1.10 1.22  hfs copy starts here
  116.35 214 24.33   126.99 849 105.35   2  5 93  0.92 1.10 1.22
   54.23 425 22.48   127.07 789 97.92   3  6 90  0.93 1.10 1.22
  118.90 196 22.73   126.94 800 99.15   4  6 90  0.93 1.10 1.22
  118.91 189 21.98   126.98 835 103.54   3  6 91  0.93 1.10 1.22
  124.34 486 58.97   120.08 657 77.03   3  5 92  0.93 1.10 1.22
  125.96 183 22.54   127.13 846 104.98   3  5 92  0.93 1.10 1.22
  121.54 185 21.95   127.00 861 106.74   7  6 86  1.09 1.13 1.23
  125.22 182 22.28   127.07 788 97.74   4  6 89  1.09 1.13 1.23
  124.49 178 21.59   126.91 785 97.32   3  5 92  1.09 1.13 1.23
  124.44 179 21.78   126.98 837 103.73   2  5 93  1.09 1.13 1.23
  121.13 407 48.14   120.08 705 82.73   3  5 91  1.09 1.13 1.23
  124.02 205 24.87   126.60 787 97.25   2  5 93  1.08 1.13 1.23
   77.99 2606 198.48    10.24 184  1.84   2  7 91  1.08 1.13 1.23  scrub stops
  124.00 3001 363.38     0.00   0  0.00   2  8 91  1.08 1.13 1.23
  125.17 2937 359.08     0.00   0  0.00   2  7 91  1.08 1.13 1.23
  125.44 2798 342.82     0.00   0  0.00   4  8 89  1.08 1.13 1.23
          disk0           disk3       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
  125.33 2811 344.01     0.00   0  0.00   3  8 90  1.08 1.13 1.23
  124.88 2701 329.40     0.00   0  0.00   3  8 90  1.08 1.13 1.23
  123.09 2718 326.72     4.08  51  0.20   6  7 87  1.08 1.13 1.23  5 second zfs sync ?
  124.33 2927 355.45     0.00   0  0.00   2  7 90  1.08 1.13 1.23
  124.73 2499 304.43     0.00   0  0.00   2  7 91  1.08 1.13 1.23
  124.59 1846 224.59     0.00   0  0.00   3  6 91  1.15 1.14 1.23
  128.00 2844 355.53     0.00   0  0.00   4 10 86  1.15 1.14 1.23
  127.80 3911 488.07     0.00   0  0.00   2 12 86  1.15 1.14 1.23
  128.00 1368 170.95     0.00   0  0.00   3  7 90  1.15 1.14 1.23  copy stops
    0.00   0  0.00     0.00   0  0.00   2  1 97  1.15 1.14 1.23
    0.00   0  0.00     0.00   0  0.00   4  2 95  1.22 1.15 1.23
    0.00   0  0.00     0.00   0  0.00   5  1 94  1.22 1.15 1.23


Patrick


Btw. for those in need of a ZFS backup script, ZFS-TimeMachine works fine with Zevo, O3X and FreeBSDhttps://github.com/jollyjinx/ZFS-TimeMachine

[tangent]

Are you saying

Code: Select all

sudo zpool scrub

or are you leaving off the "sudo"?

If the latter, you've run into a known bug with O3X.

[ilovezfs]

That bug pertains to 1.3.0 and is fixed in HEAD.

[Brendon]

Jollyjinx,

I have conducted a brief test to see if I can replicate your behaviour. Test machine is a 2008 Mac Pro. HFS is running on Disk1, ZFS on Disk2. Both disks are SATA internal drives.

Pre-test activity

Code: Select all

         disk0           disk1           disk2       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
  126.48  29  3.62    56.89   2  0.14     6.27   0  0.00   1  4 96  1.40 1.21 1.12
    0.00   0  0.00     0.00   0  0.00     0.00   0  0.00   0  0 99  1.36 1.21 1.12
    0.00   0  0.00     0.00   0  0.00     0.00   0  0.00   1  1 98  1.36 1.21 1.12
    0.00   0  0.00     0.00   0  0.00     0.00   0  0.00   2  2 96  1.36 1.21 1.12
    0.00   0  0.00    44.00   1  0.04     0.00   0  0.00   2  2 96  1.36 1.21 1.12


Copying large movie files between one directory and another on HFS.

Code: Select all

  0.00   0  0.00   864.20 121 101.79     0.00   0  0.00   5  6 89  1.27 1.20 1.12
    0.00   0  0.00  1014.00 102 100.68     0.00   0  0.00   4  6 90  1.25 1.20 1.12
    0.00   0  0.00  1014.47 106 105.49     0.00   0  0.00   4  5 90  1.25 1.20 1.12
    0.00   0  0.00  1024.00 103 102.83     0.00   0  0.00   4  5 90  1.25 1.20 1.12
    0.00   0  0.00  1024.00 102 101.76     0.00   0  0.00   4  6 90  1.25 1.20 1.12


Scrub Started.

Code: Select all

   67.96 590 39.16  1014.19 104 102.66     0.00   0  0.00   4  9 87  1.21 1.19 1.11
   82.62 610 49.20  1024.00 103 102.63     0.00   0  0.00   5 10 85  1.19 1.19 1.11
   87.01 497 42.22  1024.00 101 100.58     0.00   0  0.00   4  9 87  1.19 1.19 1.11
  111.43 669 72.82   941.05 111 101.58     0.00   0  0.00   5 10 85  1.19 1.19 1.11
  117.12 644 73.70   871.38 122 103.71     0.00   0  0.00   4  9 86  1.19 1.19 1.11
  119.71 644 75.29  1002.75 102 99.43     0.00   0  0.00   5 10 85  1.19 1.19 1.11
  124.52 694 84.38  1014.00 102 100.84     0.00   0  0.00   5 10 85  1.34 1.21 1.12
   85.70 578 48.40  1024.00 101 100.71     0.00   0  0.00   6 10 84  1.34 1.21 1.12


Scrub still running

Code: Select all

  102.59 527 52.84  1024.00 102 101.69     0.00   0  0.00   5 11 84  1.26 1.20 1.12
  110.26 498 53.64  1024.00 101 100.63     0.00   0  0.00   5 11 83  1.32 1.21 1.12
  127.09 787 97.64  1014.10 103 101.71     0.00   0  0.00   5 12 83  1.32 1.21 1.12
  127.04 749 92.90  1024.00 104 103.56     0.00   0  0.00   4 12 84  1.32 1.21 1.12
  118.67 640 74.22  1013.90 101 99.61     0.00   0  0.00   4 11 84  1.32 1.21 1.12
  127.03 737 91.42  1014.00 102 100.73     0.00   0  0.00   5 12 83  1.32 1.21 1.12
  116.65 582 66.29  1024.00 102 101.63     0.00   0  0.00   6 12 82  1.37 1.23 1.13
  112.73 570 62.70  1014.19 104 102.56     0.00   0  0.00   4 11 85  1.37 1.23 1.13
  122.26 726 86.73   988.04 109 105.61     0.00   0  0.00   4 12 84  1.37 1.23 1.13


Copy completed.

Code: Select all

  119.40 661 77.09  1014.19 104 102.56     0.00   0  0.00   5 15 80  1.85 1.38 1.19
  127.00 721 89.41  1014.10 103 101.70     0.00   0  0.00   5 14 81  1.85 1.38 1.19
  127.06 761 94.45   934.09 111 101.02     0.00   0  0.00   5 15 80  1.85 1.38 1.19
  127.15 703 87.23   828.65 106 86.16     0.00   0  0.00   5 16 80  1.85 1.38 1.19
          disk0           disk1           disk2       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
  127.09 793 98.41   839.81 127 104.02     0.00   0  0.00   5 15 80  1.85 1.38 1.19
  125.79 690 84.75   860.49  98 82.11     0.00   0  0.00   6 16 78  1.94 1.41 1.20
  118.68 652 75.61     8.00  88  0.68     0.00   0  0.00   1  5 94  1.94 1.41 1.20
  126.99 711 88.13    62.27  30  1.82     0.00   0  0.00   0  3 96  1.94 1.41 1.20
  127.02 730 90.60     0.00   0  0.00     0.00   0  0.00   0  3 96  1.94 1.41 1.20


I see no significant impact on HFS performance while a ZFS scrub was running.

Can I ask to to please retest against latest Master for ZFS and SPL?

- Brendon

I'm a longterm Zevo and FreeBSD ZFS user and I'm evaluating O3X. I've built O3X from the sources on github and I'm running it on a MBPr, OSX 10.10.

I have O3X ZFS on a external HDD connected via USB3.0 and it runs fine, except that the internal HFS+ SSD gets extremly slow while ZFS is doing a scrub on the USB disk. As well as the systems seems to come to a complete I/O halt sometimes, but recovers after some time.

The slowdown during scrub I can verify easily, so I thought I show you my results:

1. I start a scrub on the external ZFS disk (disk3, ZFS ) scrub performs about 100MB/s
2. I start a duplication of file ( you see 20MB/s) on the internal SSD (disk0 , HFS+)
3. I stop zfs scrub as you see
3. Performance on HFS+ is back to normal ( >350MB/s)

Code: Select all

          disk0           disk3       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
   48.59 251 11.91   123.35 300 36.14   5  5 91  0.98 1.13 1.23
   21.33   6  0.12     0.00   0  0.00   2  1 97  0.98 1.13 1.23
    0.00   0  0.00     0.00   0  0.00   2  1 97  0.98 1.13 1.23
    0.00   0  0.00     0.00   0  0.00   2  1 97  0.98 1.13 1.23
   40.00   2  0.08     0.00   0  0.00   2  1 97  0.98 1.13 1.23
    4.00   1  0.00     0.00   0  0.00   3  2 95  0.98 1.12 1.23
    0.00   0  0.00     0.00   0  0.00   4  2 94  0.98 1.12 1.23
    0.00   0  0.00     0.00   0  0.00   2  1 98  0.98 1.12 1.23
   14.75  78  1.12    11.87  56  0.65   3  2 96  0.98 1.12 1.23  scrub starts here
    0.00   0  0.00     4.90 103  0.49   2  1 96  0.98 1.12 1.23
    8.00   2  0.02     7.98 127  0.99   3  2 95  0.90 1.11 1.22
    0.00   0  0.00     3.69 146  0.53   5  2 93  0.90 1.11 1.22
   28.00   2  0.05     5.84 128  0.73   4  2 94  0.90 1.11 1.22
    0.00   0  0.00     3.93 127  0.49   2  2 96  0.90 1.11 1.22
  104.63  83  8.48     5.03 117  0.57   9  2 89  0.90 1.11 1.22
   56.00   1  0.05     6.15 132  0.79   4  2 94  0.91 1.10 1.22
    0.00   0  0.00     8.16 168  1.34   1  1 97  0.91 1.10 1.22
    0.00   0  0.00   127.69 795 99.18   1  4 95  0.91 1.10 1.22   scrub now at speed
    0.00   0  0.00   128.00 881 110.08   3  5 92  0.91 1.10 1.22
    0.00   0  0.00   128.00 794 99.30   1  4 95  0.91 1.10 1.22
          disk0           disk3       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
    0.00   0  0.00   126.76 765 94.67   2  4 94  0.92 1.10 1.22
    7.12  32  0.22   127.12 833 103.43   5  6 89  0.92 1.10 1.22
   33.33  12  0.39   119.68 765 89.47   5  5 90  0.92 1.10 1.22
   19.75 718 13.85   127.14 854 106.00   3  7 91  0.92 1.10 1.22  hfs copy starts here
  116.35 214 24.33   126.99 849 105.35   2  5 93  0.92 1.10 1.22
   54.23 425 22.48   127.07 789 97.92   3  6 90  0.93 1.10 1.22
  118.90 196 22.73   126.94 800 99.15   4  6 90  0.93 1.10 1.22
  118.91 189 21.98   126.98 835 103.54   3  6 91  0.93 1.10 1.22
  124.34 486 58.97   120.08 657 77.03   3  5 92  0.93 1.10 1.22
  125.96 183 22.54   127.13 846 104.98   3  5 92  0.93 1.10 1.22
  121.54 185 21.95   127.00 861 106.74   7  6 86  1.09 1.13 1.23
  125.22 182 22.28   127.07 788 97.74   4  6 89  1.09 1.13 1.23
  124.49 178 21.59   126.91 785 97.32   3  5 92  1.09 1.13 1.23
  124.44 179 21.78   126.98 837 103.73   2  5 93  1.09 1.13 1.23
  121.13 407 48.14   120.08 705 82.73   3  5 91  1.09 1.13 1.23
  124.02 205 24.87   126.60 787 97.25   2  5 93  1.08 1.13 1.23
   77.99 2606 198.48    10.24 184  1.84   2  7 91  1.08 1.13 1.23  scrub stops
  124.00 3001 363.38     0.00   0  0.00   2  8 91  1.08 1.13 1.23
  125.17 2937 359.08     0.00   0  0.00   2  7 91  1.08 1.13 1.23
  125.44 2798 342.82     0.00   0  0.00   4  8 89  1.08 1.13 1.23
          disk0           disk3       cpu     load average
    KB/t tps  MB/s     KB/t tps  MB/s  us sy id   1m   5m   15m
  125.33 2811 344.01     0.00   0  0.00   3  8 90  1.08 1.13 1.23
  124.88 2701 329.40     0.00   0  0.00   3  8 90  1.08 1.13 1.23
  123.09 2718 326.72     4.08  51  0.20   6  7 87  1.08 1.13 1.23  5 second zfs sync ?
  124.33 2927 355.45     0.00   0  0.00   2  7 90  1.08 1.13 1.23
  124.73 2499 304.43     0.00   0  0.00   2  7 91  1.08 1.13 1.23
  124.59 1846 224.59     0.00   0  0.00   3  6 91  1.15 1.14 1.23
  128.00 2844 355.53     0.00   0  0.00   4 10 86  1.15 1.14 1.23
  127.80 3911 488.07     0.00   0  0.00   2 12 86  1.15 1.14 1.23
  128.00 1368 170.95     0.00   0  0.00   3  7 90  1.15 1.14 1.23  copy stops
    0.00   0  0.00     0.00   0  0.00   2  1 97  1.15 1.14 1.23
    0.00   0  0.00     0.00   0  0.00   4  2 95  1.22 1.15 1.23
    0.00   0  0.00     0.00   0  0.00   5  1 94  1.22 1.15 1.23


Patrick


Btw. for those in need of a ZFS backup script, ZFS-TimeMachine works fine with Zevo, O3X and FreeBSDhttps://github.com/jollyjinx/ZFS-TimeMachine