WikiMiNET

La documentation technique et administrative

Outils pour utilisateurs

Outils du site


wiki:cluster:presentation

Ceci est une ancienne révision du document !


N'oubliez pas quand vous faites un backup sur Proxmox que cela met la VM/CT en pause. Le service est donc baisé provisoirement.

Cluster MiNET

Présentation du projet

Traditionnellement à MiNET les machines virtuelles étaient sur Xen. Avec cette solution, il n'y avait aucun management global des VMs, de l'occupation des Dom0 et des migrations. Cette architecture est d'autant plus préjudiciable que les machines et les disques étant mourants, le risque de perdre une VM était très élevé. Cela induisait une méfiance qui faisait que la création de VM était très limitée, notamment pour les 1A.

Maintenant avec le projet Cluster, tous ces problèmes sont résolus :

  • Machines neuves achetées pour l'occasion
  • Le risque de perte de VM est encore diminué par l'utilisation d'un NAS en raidZ (raid5) et d'un système de backup
  • Virtualisation plus légères que Xen
  • Proxmox permet d'avoir une vue unifiée des VM, de l'utilisation des ressources
  • Possibilité de migrer les VM y compris à chaud
  • Grâce à la création d'un cluster DEV (ou membre) chacun peut créer sa VM pour faire des tests.

En 2018, insolentbacon a offert 4 HP Proliants à l'association. Le cluster tournait à l'époque sur 4 serveurs Dell Proliant 1950 appelées spirit, galactica, curiosity & opportunity. insolentbacon & varens ont migré toutes les machines virtuelles du vieux cluster sur 2 de ces machines (Atlantis & Discovery). Nous sommes passés d'un cluster à 32 CPUs avec 120GiO de RAM (en DDR2) à un cluster avec 100CPUs avec ~256GiO de RAM (en DDR3).

Une tour à aussi été ajoutée au U7, elle est dans le cluster et normalement presque rien ne tourne dessus. Elle sert juste en temps que témoin, en effet, pour garantir de la haute disponibilité il nous faut au moins 3 machines. Voir le problème des généraux byzantins. Elle a été appelée Houston (ben oui, c'est le témoin des expéditions spatiales :P)

Architecture

Comme évoqué plus haut il y a deux cluster, séparés dans des vlans différents. L'un est destiné aux services en production et l'autre aux membres pour les tests (car ce sont les tests qui font avancer MiNET !)

Contrairement à Proxmox 1, il n'y a plus de master dans les clusters Proxmox >=2. Vous pouvez vous connecter à n'importe quelle machine, par exemple :

Cluster Nom Ip
Production Atlantis 192.168.102.160
Production Discovery 192.168.102.161
Production Houston 192.168.102.162
Développement Challenger 192.168.103.206

Tous deux sont basés sur la solution Proxmox VE, voici de la documentation :

Proxmox est installé sur chaque machine HP ProLiant DL585 G7 (et sur une tour au U7). Mais il y a deux dernières machines que j'ai oubliées de vous présenter …

Atlas, Callisto et Phobos ! Des serveurs de stockage que nous utilisons pour stocker les VM et CT. Les données des VM sont accédées par les machines du cluster via RBD. C'est également sur celles ci que nous faisons des backups de ces VM (via fonctionnalités de RBD). Quelques VM qui sont stockées sur les serveurs du cluster sont cependant stockées sur les serveurs de calcul proxmox (local-lvm).

Ces serveurs sont actuellement basé sur Debian, et font partie d'un cluster Ceph

Informations supplémentaires

Pour ne pas faire trop long, voici quelques liens vers :

wiki/cluster/presentation.1529254897.txt.gz · Dernière modification: 2020/06/27 18:15 (modification externe)