OVH Community, your new community space.

Como montar RAID 1 HARD en discos SSD con soporte TRIM, en server SYS-E32


Guille
28/12/2013, 15:24
La tarjeta RAID SAS1064 puede controlarse tal y como se indica en este blog:
http://loxdev.knc.nc/blog/ubuntu/monitoring-ibm-hardware-raid-sas1064et-pci-express-fusion-mpt-sas/



jupediaz
28/12/2013, 13:15
Pues nada, parece ser que no tengo la LSI. Con el comando que me dices, no obtengo ningún resultado. Si no filtro con grep:

# lspci -nn

00:00.0 Host bridge [0600]: Intel Corporation Xeon E3-1200 v2/Ivy Bridge DRAM Controller [8086:0158] (rev 09)
00:01.0 PCI bridge [0604]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor PCI Express Root Port [8086:0151] (rev 09)
00:02.0 VGA compatible controller [0300]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor Graphics Controller [8086:016a] (rev 09)
00:16.0 Communication controller [0780]: Intel Corporation 6 Series/C200 Series Chipset Family MEI Controller #1 [8086:1c3a] (rev 04)
00:19.0 Ethernet controller [0200]: Intel Corporation 82579V Gigabit Network Connection [8086:1503] (rev 05)
00:1a.0 USB controller [0c03]: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2 [8086:1c2d] (rev 05)
00:1b.0 Audio device [0403]: Intel Corporation 6 Series/C200 Series Chipset Family High Definition Audio Controller [8086:1c20] (rev 05)
00:1c.0 PCI bridge [0604]: Intel Corporation 6 Series/C200 Series Chipset Family PCI Express Root Port 1 [8086:1c10] (rev b5)
00:1c.3 PCI bridge [0604]: Intel Corporation 6 Series/C200 Series Chipset Family PCI Express Root Port 4 [8086:1c16] (rev b5)
00:1d.0 USB controller [0c03]: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #1 [8086:1c26] (rev 05)
00:1f.0 ISA bridge [0601]: Intel Corporation H67 Express Chipset Family LPC Controller [8086:1c4a] (rev 05)
00:1f.2 SATA controller [0106]: Intel Corporation 6 Series/C200 Series Chipset Family SATA AHCI Controller [8086:1c02] (rev 05)
00:1f.3 SMBus [0c05]: Intel Corporation 6 Series/C200 Series Chipset Family SMBus Controller [8086:1c22] (rev 05)
01:00.0 SCSI storage controller [0100]: LSI Logic / Symbios Logic SAS1064ET PCI-Express Fusion-MPT SAS [1000:0056] (rev 08)
02:00.0 PCI bridge [0604]: Integrated Technology Express, Inc. Device [1283892] (rev 30)
04:00.0 USB controller [0c03]: NEC Corporation uPD720200 USB 3.0 Host Controller [1033:0194] (rev 03)

Quizá también afecte a la velocidad del disco la calidad de la tarjeta RAID.

master
28/12/2013, 00:18
Para ver info de RAID prueba este comando:
# lspci -nn | grep -i raid
02:00.0 RAID bus controller [0104]: LSI Logic / Symbios Logic MegaRAID SAS 2208 [Thunderbolt] [1000:005b] (rev 05)

A mi los test iniciales que me dieron fueron estos (2xHDD + 2xSSD con RAID 1 por defecto):
sda (serial number : 0013347208d2b7401a60d4da06b00506) : 160.07 MB/s
sdb (serial number : 0011047b08d3b7401a60d4da06b00506) : 164.17 MB/s
sdc (serial number : 00d4638408d3b7401a60d4da06b00506) : 274.76 MB/s
sdd (serial number : 0025c68c08d4b7401a60d4da06b00506) : 291.49 MB/s

Supongo que tu velocidad esta dentro de lo normal, si bajara de 200 MB/s seria mas preocupante.

jupediaz
27/12/2013, 23:51
El trim aún no me ha dado a probarlo, la verdad, estoy empezando a montar el server y eso lo iba a activar como un cron.

No estoy seguro de como saber el modelo de RAID que lleva el servidor dedicado que tengo contratado. Por lo visto va en la propia placa base.

El modelo de placa base es DH67BL

http://www.intel.es/content/www/es/e...rd-dh67bl.html

# MegaCli -AdpAllInfo -aALL | grep -i 'Product Name'

no me devuelve ningún resultado, y cualquier otra combinación reduciendo parámetros, me devuelve...

Exit code: 0x00, 0x01...

¿alguna idea de cómo saber qué tarjeta RAID tengo exactamente?

Otra cosa, en los tests iniciales que pasan los de OVH antes de entregar el servidor, ponen

Velocidad de lectura : ok
sda (serial number : BTWL3216031X120LGN) : 266.98 MB/s
sdb (serial number : BTWL3216033H120LGN) : 266.99 MB/s

Pero yo estoy consiguiendo máximo 210 MB/s, en RAID 1 ... ¿quizá no está instalado el driver correcto? Tengo como distribución Ubuntu 12.04 LTS con Zpanel 10.0.1.

master
27/12/2013, 22:55
A ti te funciona el trim?
Por lo que he leído algunas controladoras raid no lo soportan.

Y en caso de que te funcione, tienes la misma que yo?

# MegaCli -AdpAllInfo -aALL | grep -i 'Product Name'
Product Name : LSI MegaRAID SAS 9271-4i

jupediaz
27/12/2013, 21:06
Efectivamente, con RAID 0, la velocidad aumenta muchísimo (incluso más del doble, por lo que veo)... no sé si será por la tarjeta RAID o por la calidad de los discos

El resultado con mi server en HARD RAID 1 es:

# hdparm -tT /dev/sda

/dev/sda:
Timing cached reads: 26962 MB in 2.00 seconds = 13495.46 MB/sec
Timing buffered disk reads: 632 MB in 3.01 seconds = 210.04 MB/sec

# hdparm -tT --direct /dev/sda

/dev/sda:
Timing O_DIRECT cached reads: 724 MB in 2.00 seconds = 361.59 MB/sec
Timing O_DIRECT disk reads: 762 MB in 3.00 seconds = 253.84 MB/sec

master
26/12/2013, 21:17
Yo tengo un SP-64 con 2 discos SSD + Hard RAID 0, estos son los resultados:

# hdparm -tT /dev/sda

/dev/sda:
Timing cached reads: 27768 MB in 2.00 seconds = 13898.91 MB/sec
Timing buffered disk reads: 1690 MB in 3.00 seconds = 563.24 MB/sec

# hdparm -tT --direct /dev/sda

/dev/sda:
Timing O_DIRECT cached reads: 8688 MB in 2.00 seconds = 4345.13 MB/sec
Timing O_DIRECT disk reads: 2234 MB in 3.00 seconds = 744.59 MB/sec


Las particiones están en ext4 con discard pero no funciona el trim:

# fstrim /
fstrim: /: FITRIM ioctl failed: La operación no está soportada

Y el dmesg me dice esto:
EXT4-fs (sda2): mounting with "discard" option, but the device does not support discard


Solución?

Guille
26/12/2013, 11:13
La velocidad de transferencia también puede depender del tipo de disco SSD.
Tengo entendido que OVH utilizaba hace tiempo los Intel, que no son los más rápidos ni de lejos.
Aparte de eso un dedicado debería ir mejor que un VPS. Para el rendimiento global, no sólo hay que tener en cuenta la velocidad de disco sino la CPU y la memoria RAM que tienes disponible.

jupediaz
26/12/2013, 10:52
Por si esto ayuda a otros, me autocontesto...

Parece ser que al ser HARD RAID, es transparente al SO, es decir, desde el SO solo veo 1 disco, aunque se esté haciendo el mirroring de RAID 1, así que ya de entrada, está funcionando en HARD RAID 1, que se configura a la hora de particionar el server, cuando voy a instalar la distribución.

Luego, para el TRIM, veo que hay 3 opciones:

- Lanzar manualmente
- Configurar en el mount con la opción "discard"
- Preparar un cron que lance el comando para hacer el TRIM

Según he podido leer, la opción más aconsejable es lanzar el TRIM cada x horas, por ejemplo una o dos veces al día, pues si se hace en el mount, parece que añade algo de retardo, pues en cada operación tiene que marcar los bloques como libres, lo que añade esa carga extra.

Por el momento, solo obtengo en torno a 260MB/s en el SSD, entiendo que es por el RAID 1. En DigitalOcean, entiendo que esta todo virtualizado, ellos manejan backups y tal pero parece que tienen los discos en RAID 0 (quizá 10), pues alcanzan más de 520MB/s. De hecho, voy a seguir haciendo unas pruebas con este servidor nuevo a ver si me merece la pena tener mejor CPU y más memoria, que un disco duro que funcione el doble de rápido. Por supuesto, DigitalOcean es más barato... y la verdad es que por ahora, cero problemas en instalación, configuración, estabilidad, etc, por eso la duda.

jupediaz
24/12/2013, 13:58
Hola a todos!

Como pequeña presentación, decir que soy desarrollador hace muchos años. Para tener mis propios proyectos y los de algunos clientes, también he gestionado mínimamente mi propio hosting. Empecé con shared, luego pasé a VPS, y últimamente dedicados.

Como os digo, he mantenido servidores propios para desarrollo y algunos proyectos propios, servers instalados desde cero, con muchas noches sin dormir arreglando cosas o mejorando.

Aún así, mi nivel de administración de sistemas, en una escala de 1 a 10, es 3. Generalmente solo cosas comunes, gestión dns, mail, apache, virtualhosts, logs, etc... lo que puede necesitar un desarrollador.

Con estos antecedentes, os comento. Hace unos meses que vengo haciendo pruebas con un VPS de digitalocean.com, que vienen ya con discos SSD. Las cuentas, desde $5 al mes, súper barato, aunque solo 512mb ram, 1 vcore, y 20gb ssd. No va mal, aunque la latencia, al ser servera en USA, va un poco mal. Por eso preferí contratar algo más cerca. Vi hace poco la gama nueva soyoustart, que tenían tambien posibilidad de discos ssd, y me planteé contratar un server. La oferta que contraté es ésta...

http://www.soyoustart.es/ofertas/sys-e32-4.xml

Procesador Xeon E3 1245
32Gb ram
HARD RAID
2x120GB SSD

Preferí la opción HARD pensando que pudiera funcionar mejor, aunque me costara un poco más. Ahora no estoy seguro de si ha sido lo mejor.

Buscando en la página de Ubuntu,

https://help.ubuntu.com/13.10/server...tallation.html

me encuentro ésto

El software RAID incluido en las versiones actuales de Linux (y Ubuntu) se basa en el controlador «mdadm» y funciona muy bien, mejor incluso que los llamados controladores RAID «hardware»

¿Hasta qué punto es esto cierto?

He decidido invertir en un server de estas características, y me preocupa que ahora no pueda hacer funcionar correctamente todas esas tecnologías juntas:

SSD + TRIM + HARD RAID

Es curioso porque en digitalocean.com, de entrada, la velocidad del disco es de más de 500MB/s, mientras que ahora mismo en este server llego "solo" a 266MB/s... supongo que la diferencia será el tener el RAID funcionando o no (en mi caso, busco un RAID 1).

¿Seríais tan amables de echarme una mano para poner en marcha todo esto?

He encontrado muchos totorales en este foro, pero ninguno que me ayude a poner en marcha estas tecnologías juntas. Tampoco he tenido suerte googleando... casi siempre, lo que me encuentro, es SOFT RAID, y ya viendo lo que dicen en la web de Ubuntu, no sé si me ha merecido la pena pagar por el HARD RAID si luego ni lo voy a saber montar ni lo voy a poder aprovechar.

¡Muchas gracias a todos y FELICES FIESTAS!!