Test Raid Card Perc H730 1 Gb (H730 mini) / Dell PowerEdge (test on PowerEdge R430) with Debian Wheezy

Nouvelle venue sur la gamme 13G Dell (13ème génération), la PERC H730 a été testée en R&D avant la mise en place des premiers serveurs de cette gamme en production dans le cadre de notre offre d’hébergement

Le test a été réalisé avec une installation de base de Debian Wheezy

La carte est reconnue par défaut par le noyau de Debian stable

Linux r430 3.2.0-4-amd64 #1 SMP Debian 3.2.65-1+deb7u2 x86_64 GNU/Linux

Côté système :

extrait dmesg :

[ 5.077300] scsi 0:0:0:0: Direct-Access DELL PERC H730 Mini 4.24 PQ: 0 ANSI: 5

extrait lspci :

01:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS-3 3108 [Invader] (rev 02)

 

Comme sur la quasi totalité des serveurs Dell,  c’est une carte contrôleur LSI manageable avec l’outil du constructeur packagé pour Debian sur un dépôt spécifique [dépôt “HWraid” (http://hwraid.le-vert.net/wiki/DebianPackages)]: megacli

root@r430:~# dpkg -l megacli
ii megacli 8.07.14-1 amd64 LSI Logic MegaRAID SAS MegaCL

 

Quelques informations (avec megacli) :

Afficher toutes les informations sur l’adaptateur :

root@r430:~# megacli -adpallinfo -aALL

Adapter #0

====================================
Versions
================
Product Name : PERC H730 Mini
Serial No : XXXXXX
FW Package Build: 25.2.2-0004

Mfg. Data
================
Mfg. Date : 02/08/15
Rework Date : 02/08/15
Revision No : A00
Battery FRU : N/A

Image Versions in Flash:
================
BIOS Version : 6.18.03.0_4.16.07.00_0x06070400
Ctrl-R Version : 5.03-0010
FW Version : 4.241.00-4163
NVDATA Version : 3.1310.00-0084
Boot Block Version : 3.02.00.00-0000

Pending Images in Flash
================
None

PCI Info
================
Controller Id : 0000
Vendor Id : 1000
Device Id : 005d
SubVendorId : 1028
SubDeviceId : 1f49

Host Interface : PCIE

ChipRevision : C0

Link Speed : 3
Number of Frontend Port: 0
Device Interface : PCIE

Number of Backend Port: 8
[…]

HW Configuration
================
SAS Address : XXXXXXXXXXX
BBU : Present
Alarm : Absent
NVRAM : Present
Serial Debugger : Present
Memory : Present
Flash : Present
Memory Size : 1024MB

 

Consulter l’état du cache d’un RAID

root@r430:~# megacli -LDGetProp -Cache -LALL -a0

Adapter 0-VD 0(target id: 0): Cache Policy:WriteBack, ReadAhead, Direct, No Write Cache if bad BBU

Exit Code: 0x00

 

Consulter l’état de la batterie

root@r430:~# megacli -AdpBbuCmd -a0

BBU status for Adapter: 0

BatteryType: BBU
Voltage: 3926 mV
Current: 0 mA
Temperature: 37 C
Battery State: Optimal
BBU Firmware Status:

[…]

Relative State of Charge: 99 %
Charger Status: Complete
Remaining Capacity: 549 mAh
Full Charge Capacity: 557 mAh

[…]

 

Les tests

Débits de base testés (250Mo/s en lecture et écriture)

Tests de lecture/ecriture (comparaison avec un serveur équipé d’une H720)

Test avec H730 mini

root@r430:/home# time dd if=/dev/zero bs=4096 count=52398080 2>/tmp/out | pv > 200G ; cat /tmp/out
200GB 0:16:06 [ 212MB/s] [ <=> ]

real 16m14.390s
user 0m54.147s
sys 8m55.245s
52398080+0 records in
52398080+0 records out
214622535680 bytes (215 GB) copied, 973.265 s, 221 MB/s

root@r430:/home# time dd if=200G bs=4096 count=52398080 2>/tmp/out | pv > /dev/null ; cat /tmp/out
200GB 0:15:56 [ 214MB/s] [ <=> ]

real 15m56.985s
user 0m30.198s
sys 7m35.152s
52398080+0 records in
52398080+0 records out
214622535680 bytes (215 GB) copied, 956.961 s, 224 MB/s

root@r430:/home# time rm /home/200G

real 0m5.086s
user 0m0.000s
sys 0m5.040s

Test avec H720

root@r320:/home# time dd if=/dev/zero bs=4096 count=52398080 2>/tmp/out | pv > 200G ; cat /tmp/out
200GB 0:22:04 [ 155MB/s] [ <=> ]

real 22m11.296s
user 0m11.401s
sys 4m26.109s
52398080+0 records in
52398080+0 records out
214622535680 bytes (215 GB) copied, 1329.8 s, 161 MB/s

root@r320:/home/# time dd if=200G bs=4096 count=52398080 2>/tmp/out | pv > /dev/null ; cat /tmp/out
200GB 0:21:50 [ 156MB/s] [ <=> ]

real 21m50.901s
user 0m14.189s
sys 3m29.113s
52398080+0 records in
52398080+0 records out
214622535680 bytes (215 GB) copied, 1310.89 s, 164 MB/s

root@r320:/home# time rm 200G

real 0m4.540s
user 0m0.000s
sys 0m4.484s

Performances avec pg_bench (comparaison avec un serveur équipé d’une H720)

Test avec H730 mini

root@r430:/home/# /usr/lib/postgresql/9.1/bin/pg_test_fsync
2000 operations per test
O_DIRECT supported on this platform for open_datasync and open_sync.

Compare file sync methods using one 8kB write:
(in wal_sync_method preference order, except fdatasync
is Linux’s default)
open_datasync 24739.004 ops/sec
fdatasync 18467.050 ops/sec
fsync 17527.716 ops/sec
fsync_writethrough n/a
open_sync 62.750 ops/sec

Compare file sync methods using two 8kB writes:
(in wal_sync_method preference order, except fdatasync
is Linux’s default)
open_datasync 11911.781 ops/sec
fdatasync 16231.658 ops/sec
fsync 15332.250 ops/sec
fsync_writethrough n/a
open_sync 31.669 ops/sec

Compare open_sync with different write sizes:
(This is designed to compare the cost of writing 16kB
in different write open_sync sizes.)
16kB open_sync write 62.500 ops/sec
8kB open_sync writes 31.250 ops/sec
4kB open_sync writes 15.625 ops/sec
2kB open_sync writes 7.812 ops/sec
1kB open_sync writes 3.906 ops/sec

Test if fsync on non-write file descriptor is honored:
(If the times are similar, fsync() can sync data written
on a different descriptor.)
write, fsync, close 14112.733 ops/sec
write, close, fsync 15835.187 ops/sec

Non-Sync’ed 8kB writes:
write 224643.379 ops/sec

Test avec H720

root@r320:/home/# /usr/lib/postgresql/9.1/bin/pg_test_fsync
2000 operations per test
O_DIRECT supported on this platform for open_datasync and open_sync.

Compare file sync methods using one 8kB write:
(in wal_sync_method preference order, except fdatasync
is Linux’s default)
open_datasync 21474.665 ops/sec
fdatasync 20687.444 ops/sec
fsync 19973.435 ops/sec
fsync_writethrough n/a
open_sync 63.351 ops/sec

Compare file sync methods using two 8kB writes:
(in wal_sync_method preference order, except fdatasync
is Linux’s default)
open_datasync 10418.946 ops/sec
fdatasync 18638.287 ops/sec
fsync 17937.059 ops/sec
fsync_writethrough n/a
open_sync 31.267 ops/sec

Compare open_sync with different write sizes:
(This is designed to compare the cost of writing 16kB
in different write open_sync sizes.)
16kB open_sync write 62.150 ops/sec
8kB open_sync writes 31.104 ops/sec
4kB open_sync writes 15.538 ops/sec
2kB open_sync writes 7.775 ops/sec
1kB open_sync writes 3.885 ops/sec

Test if fsync on non-write file descriptor is honored:
(If the times are similar, fsync() can sync data written
on a different descriptor.)
write, fsync, close 16396.803 ops/sec
write, close, fsync 18797.699 ops/sec

Non-Sync’ed 8kB writes:
write 456516.777 ops/sec

Conclusions

La carte RAID Perc H730 mini (Perc H730 1Gb) a passé les tests de compatibilité Linux Debian avec succès! Ses performances sont équivalentes voire meilleures que celle de la Perc H720 et on passe d’un cache de 512Mo à 1Go notamment.