A través de financiación FEDER se ha incorporado un nuevo sistema de cálculo científico a la infraestructura ofertada por ASIC a la comunidad universitaria. El sistema se compone de:
1) Clúster general
El cluster para proceso paralelo masivo original estaba compuesto por 72 nodos. Estos nodos son BX920S3 de Fujitsu sobre chasis blade BX900S2. Este modelo de blade incorpora 18 servidores por chasis. El cluster está formado por un total de 4 chasis. Cada nodo del chasis tiene las siguientes características:
- Dos procesadores Intel Xeon E5-2450 8c/16T
- 64 GB/RAM DDR3 (ratio de 4GB/core).
- 2 x interfaces 1 0 GbE.
- Interface GbE.
En cada chasis se sitúan dos switches 10 GbE. Cada switch tiene un total de 18 internos hacia los blades y 8 externos para uplink.
El procesador E-2450 proporciona un buen compromiso entre eficiencia y consumo, el cluster alcanza una potencia de cálculo de 20,6 TeraFLOPS (en la ejecución de un test de LINPACK ).
A finales de 2015 se incorporaron 56 nuevos nodos al clúster merced a una nueva adquisición. En esta ocasión se trata de equipamiento de la marca Bull, concretamente el modelo R424E4 con las siguientes características:
- 48 unidades con:
- 2 procesadores Intel Xeon E5-2630v3 de 8 cores, 2,4 Ghz. y 20 Mb de caché L3
- 64 Gb de memoria DDR4 de 2133 Mhz
- 8 unidades con:
- 2 procesadores Intel Xeon E5-2680v3 de 12 cores, 2,5 Ghz. y 30 Mb de caché L3
- 128 gb de memoria DDR4 de 2133 Mhz
Tras esta adquisición se consiguen un total de 2176 cores y 9364 Gb de memoria, obteniéndose marcas de rendimiento de 40 TFLOPS.
Recientemente se resolvió un nuevo concurso, Acción cofinanciada por la Unión Europea a través del Programa Operativo del Fondo Europeo de Desarrollo Regional (FEDER) de la Comunitat Valenciana 2014-2020 con el Objetivo de Promover el desarrollo tecnológico, la innovación y una investigación de calidad.
Gracias a él se han incorporado al clúster 27 nuevos nodos de la marca Dell Power Edge R640.
- 2 procesadores Intel Xeon Gold 6154 de 18 cores, 3 Ghz y 25 Mb de caché
- 24 nodos con 192 Gb de memoria 2666MT/s DDR
- 5 nodos con 768 Gb de memoria 2666MT/s DDR
Con la incorporación de estos nuevos nodos la potencia de cálculo total del cluster Rigel es de 50 TFLOPS.
2) Clúster memoria compartida
Para aquellos programas muy intensivos en consumo de memoria, el cluster de sistemas de memoria compartida es una solución idónea. Está compuesto por 4 servidores RX500S7 con cuatro procesadores Intel Xeon E5-4620 de 8 núcleos (32 núcleos por nodo). Las características de cada nodo son:
- Cuatro procesadores Intel Xeon E5-4620 8c/16T.
- Memoria RAM: 256GB DDR3 (ratio 8GB/core).
- 2 x interfaces 10GbE.
- 2 x Interfaces GbE.
- 2 x FC 8Gb/seg.
El procesador E5-4620 proporciona buen compromiso entre eficiencia y consumo, el cluster alcanza una potencia de 2,1TeraFlops (test LINPACK).
3) Clúster GPU's
Se han incorporado dos equipos con tarjetas GPUs. Los sistemas basados en GPUs tienen cada vez más demanda, pues sus prestaciones son excelentes. Como contrapartida está su dificultad de programación pero cada vez más las aplicaciones de cálculo pueden aprovecharse de las características de las GPUs para obtener incrementos muy significativos de rendimiento.
Se han incorporado a la solución dos sistemas CX270 S1 de fujitsu con tarjetas NVidia Tesla M2075 GPSPU proporcionando 1,5 TeraFlops (test LINPACK).
4) Sistemas auxiliares
a) Nodos de cabecera
Lo forman dos nodos RX200 S7 para la gestión de usuarios, gestor de colas, monitorización etc.. :
- Dos procesadores E5-2650 8c/16T con 64GB DDR3.
- 2 x interfaces 10GbE.
- 2 x Interfaces GbE.
- 2 x FC 8Gb/seg.
b) Redes de interconexión
Todos los servidores se conectan a las siguientes redes:
- Red de control maquinas físicas: esta red no es accesible por el usuario, su propósito es el control de hardware, así como la gestión de despliegue. Se dispone de un interfaz específico IRMC en cada sistema. Todos los servidores disponen de un interfaz GbE conectado a la red de administración a través de 2 switches Brocade de 48p.
- Red de gestión. Todos los servidores disponen al menos de un interfaz GbE conectado a ella.
- Red HPC: el núcleo del cálculo intensivo al que se conectan los blades, los nodos del cluster de memoria compartida, los equipos con GPUs y los equipos de almacenamiento de alto rendimiento (LUSTRE) por doble enlace de 10GbE. El backbone lo forman los 2 switches 10GbE de cada chasis blades (8 en total) y los dos switches de 24 puertos, conectados a su vez con el backbone general de la UPV.
- Red acceso usuarios, con conectividad 10GbE.
c) Almacenamiento
El sistema de almacenamiento de alto rendimiento LUSTRE tiene como objetivo proporcionar a los usuarios un espacio de disco unificado. En los volúmenes, que serán visibles desde todos los nodos del clúster, los usuarios guardarán sus programas, datos, salidas de procesos. El sistema está formado por varios elementos:
6 nodos RX200 S7 de Fujitsu con las siguientes características:
- Dos procesadores E5-2640 6/12T 64DDR3
- 2 x interfaces 10GbE.
- 2 x Interfaces GbE
- 2 x FC 8Gb/seg .
Dos de estos equipos se encargan de las tareas correspondientes a gestión de los metadatos MDS, MGS y los 4 restantes a gestión de los datos OSS-1 OSS-2 OSS-3 OSS-4 .
3 cabinas Ethernus DX90, una de ellas dedicada a almacenamiento de metadatos y otras dos a datos propiamente. Todas ellas con doble controladora RAID, 8GB cache, doble tarjeta FC, así como 11 discos 600Gb a 15krpm en la cabina de metadatos y 23 discos 3Tb a 7,2krpm en las de datos.
El sistema está conectado a la red FibreChannel de la UPV a través de dos switches Brocade 300 de 16 bocas .
En la convocatoria de 2019 de FEDER CV PO 2014-2020 se amplía la infraestructura de almacenamiento.
Esta nueva infraestructura consiste en dos cabinas Oceanstore 5500 V5 de Huawei, una en sala principal y otra en sala de respaldo.
Conectadas en arquitectura activo–activo con las siguientes características cada cabina:
- 2 Discos flash para cache de 960GB,
- 6 discos SSD de 3,8GB y
- 75 discos rotacionales de 10TB
El sistema contempla la compresión, la deduplicación, el autotiering y la calidad de servicio.
d) Sistemas de protección de datos: backup a disco
Se ha implementado una solución de backup a disco mediante un sistema CS800 con deduplicación que permite incrementar la velocidad de las copias de seguridad y sus recuperaciones. El sistema tiene una capacidad de 80 TB netos.
d) Acondicionamiento de equipos
Todos los equipos están situados en racks cerrados con unidades adosadas de refrigeración por agua del tipo CoolLoop intercaladas con los armarios, de modo que las unidades de climatización están integradas dentro de los propios armarios.
Completando la instalación dos enfriadoras de agua (chiller) que refrigeran el sistema.