Cambio de disco en servidor de virtualización

En la noche de hoy procederemos a apagar brevemente uno de los servidores de virtualización para reemplazar un disco que está reportando fallo.
Este proceso debe durar pocos minutos, y revisaremos luego que todas las máquinas virtuales arranquen.

ACTUALIZACION
ya el servidor arrancó, estamos verificando todas las máquinas arranquen dentro de él.

Reemplazo de disco de RAID en servidor de virtualización

Les informamos que el procedimiendo fue realizado rápidamente en el horario esperado, en menos de 10 minutos estaba arriba.
Al momento el servidor está sincronizando el nuevo disco.

En la noche de hoy estaremos reemplazando uno de los discos de un servidor de virtualización. Debido a este proceso deberemos apagar el servidor de virtualización por unos minutos hasta que el disco sea reemplazado. Algunos clientes de virtualización notarán una caída de aproximadamente 15 a 30 minutos en la noche.

Luego de que el proceso acabe, lo avisaremos por este medio. Y verificaremos que todas las máquinas virtuales arranquen como hasta ahora.

Problema resuelto en un servidor de streaming

El día de hoy notamos que uno de nuestros servidores de streaming estaba teniendo inconvenientes: no nos podíamos conectar a él, daba timeouts y ciertas situaciones un poco inesperadas que sucedían.

Al poco rato verificamos que la razón era por una pérdida muy grande, gigante, casi total de paquetes hacia el servidor. Inmediatamante contactamos al proveedor para indicarles que había un problema en la red (no podíamos determinar si físico o lógico), minutos después se nos informó que en efecto el ancho de banda de cierta parte de su red estaba siendo afectado por una inundación de paquetes. Esto ocurre cuando alguien de forma maliciosa provoca el envío o la recepción de una enorme cantida de paquetes, suficiente como para hacer ocupar (y por tanto colapsar) todo el ancho de banda asignado a una red. Normalmente se conoce como ataque de flooding (inundación). Tan pronto lo reportamos, pocos minutos después, fue resuelto.

Problema de conectividad con servidores

En estos momentos estamos verificando un problema de conectividad con un par de servidores de streaming y de un usuario dedicado que al parecer han perdido la conectividad.. estamos al tanto y trabajando para restablecer la conexión inmediatamente.

Cambios de localización física en varios servidores

En la noche de hoy realizaremos un simple cambio en al menos 6 servidores de nuestro servicio. Estos servidores son en su mayoría dedicados específicamente a un cliente y ya en cliente fue advertido. Excepto un servidor nuestro de radio por internet

Es un cambio físico, lo que implicará que 3 de esos servidores sean apagados y sustituidos por un nuevo hardware en un nuevo rack, el proceso conllevará una interrupción del servicio de aproximadamente 15 minutos en 3 de ellos y de no más de 3 horas en los otros 3 a los cuales se les cambiará el hardware. Decimos 3 horas por tener un espacio para cualquier eventualidad, pero la realidad es que esperamos que sea aproximadamente una hora el downtime total.

Para el caso de la radio por internet lo que haremos es pasar el servicio de radio hacia un servidor alterno de forma tal que las radios solamente noten una pequeña caída durante unos 10 segundos mienrtas les migramos al servidor alterno.

al regresar el servicio, regresaríamos las radios hacia el servidor original.

Este servicio ha sido probado y ya está listo. Y como resultado tendremos mejorados hardware para soportar el natural incremento en la demanda de nuestros servicios.

Adiós al srv6

Después de servirnos durante tanto tiempo, ayer se apagó el srv6, pues todos los sitios han sido migrados al nuevo panel de control o al servidor que queda con el viejo panel de control. En todo caso, un agradecimiento al srv6 que por demás estuvo 315 días sin reiniciarse al momento que le apagamos.

Aumento de disco a servidor de hosting compartido

En la noche de hoy realizamos el aumento del tamaño de disco a uno de los servidores de hosting compartido, pues este se estaba comenzando a llenar.

El servidor estuvo apagado unos 10 minutos para realizar este cambio. Ya todo está arriba y no se hizo ningún cambio a la configuración del sistema, tan sólo se aumentó el tamaño del disco.

Enorme falla de seguridad en trixbox

Hoy notamos una actividad inusual de llamadas desde un servidor de trixbox de un cliente, e investigando notamos lo siguiente:

Varias versiones de trixbox tienen un usuario no documentado llamado wwwadmin con clave password.. es imperioso que le cambies sino… te pasará como a este cliente.

así como oyen.. realmente deja mucho qué pensar de estos sistemas integrados de telefonía,y al cliente le deja una deuda de 4600usd con el proveedor de telefonía por llamadas a etiopia,sri lanka etc… aparte de …qué pudo haberse conversado en esas llamadas!

Aquí el anuncio, es curioso que nadie dijera nada en público, pues fallas tan garrafales como estas enseguida se saben:

http://seclists.org/fulldisclosure/2011/Mar/151

Adición:
Con el objetivo de dejar advertido de la fuente de la intrusión, indicamos que las IPs desde donde han provenido los ataques han sido las siguientes:

188.161.100.115
188.161.103.115
188.161.103.157
188.161.103.163
188.161.234.38
188.161.240.75
188.161.241.165
188.161.241.35
188.161.245.75
188.161.90.101
188.161.90.111
188.161.90.198
188.161.91.41
188.161.96.122
188.161.98.129
188.161.98.166
194.165.158.194
217.23.42.219
41.199.52.253
86.108.107.70
86.108.20.192
86.108.42.18
86.108.66.165
94.249.94.73

Estamos revisando los logs de cualquier otro servidor de telefonía para ver si determinamos alguna actividad inusual.
Adición 2:
más ips que han intentado conectarse a servidores de trixbox:

188.161.215.208
188.161.98.16
188.161.98.9
190.152.27.7
41.199.164.88
41.34.237.192
41.35.46.147
41.69.250.219

Mantenimiento planificado: Xen2

Durante el día de hoy hemos detectado que uno de los discos del RAID-10 de uno de nuestros servidores de virtualización está fallando.

Por tanto les informamos que tarde en la noche del sábado 19 de Febrero (después de las 10pm) procederemos a reemplazar este disco del raid. No se preveé pérdida de información, solamente un pequeño downtime.

Antes de reemplazar el disco, procederemos a realizar un respaldo completo del servidor por precaución.

Levante la mano Epe!

Sí, él mismo fue… hace haciendole un pequeño ajuste a uno de los servidores de virtualización dejó a las máquinas sin conectividad. El inconveniente duró aproximadamente 9 minutos. de 2100 a 2109 aproximadamente.