Ci-dessous, les différences entre deux révisions de la page.
wiki:cluster:ceph [2019/05/06 22:41] varens ajout lien doc gentoo |
wiki:cluster:ceph [2020/06/27 18:16] |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
- | ====== Ceph ====== | ||
- | |||
- | Avant de zoulouter sur ceph merci de consulter la [[http:// | ||
- | |||
- | Il y aussi la [[https:// | ||
- | |||
- | À MiNET, depuis 2018, on utilise un cluster [[https:// | ||
- | Ceph est une technologie de stockage développée par Red Hat (et d' | ||
- | |||
- | Nous n' | ||
- | |||
- | D' | ||
- | > Ceph est une plateforme libre de stockage distribué. Les objectifs principaux de Ceph sont d' | ||
- | > | ||
- | > Ceph fonctionne sur du matériel non spécialisé. Le système est conçu pour s' | ||
- | |||
- | Dans cet article, nous résumerons et vulgariserons Ceph, mais gardez à l' | ||
- | |||
- | ===== Le vocabulaire ===== | ||
- | |||
- | Un [[http:// | ||
- | |||
- | Les [[http:// | ||
- | |||
- | [[http:// | ||
- | |||
- | [[http:// | ||
- | |||
- | {{ : | ||
- | |||
- | Nous avons donc plein d'OSD (un par disque) qui sont dans un gros cluster Ceph. Nous avons un __mon__ par machine de stockage qui permettent ensemble de gérer le cluster et d'y accéder. | ||
- | |||
- | Chaque objet stocké dans ceph (donc nos disques) sont découpés en plein de petits " | ||
- | |||
- | Au moment où vous voulez accéder au disque de la VM XYZ, vous contactez les //mon//s pour qu'ils vous transmettent toutes les informations sur la topologie du cluster. Avec ces information, | ||
- | |||
- | Concrètement, | ||
- | |||
- | En fait, plus précieusement, | ||
- | | ||
- | |||
- | ===== La réplication ===== | ||
- | |||
- | La réplication des données est vraiment le truc le plus essentiel dans notre infra. On ne veut pas que si un disque meurt, on perde quoique ce soit. Pour ça, on a défini plusieurs replicas par pool. Typiquement, | ||
- | |||
- | Si un disque lâche, Ceph étant résilient, il va recopier (et répartir équitablement) toutes les placement groups qui étaient sur ce disque, sur tous les autres disques (en se servant des autres replicas). | ||
- | |||
- | La replication ne se fait pas totalement n' | ||
- | |||
- | On peut faire des trucs bien plus compliqués avec les ruleset, mais restons simple. Pour voir les ruleset | ||
- | >ceph osd crush rule ls | ||
- | |||
- | puis (par exemple pour replicated_rule) | ||
- | > ceph osd crush rule dump replicated_rule | ||
- | |||
- | |||
- | ===== Les commandes usuelles ===== | ||
- | |||
- | Lancez celles-ci en root sur un noeud de stockage. | ||
- | |||
- | > ceph status | ||
- | Permet de voir le status du cluster. (la commande la plus utile de toutes) | ||
- | |||
- | > ceph health detail | ||
- | Permet de voir le détail, c'est cette commande qui permet d' | ||
- | |||
- | > ceph -w | ||
- | Permet de voir le status + les événement arrivant sur le cluster | ||
- | |||
- | |||
- | > ceph osd tree | ||
- | Pour voir tous les OSDs | ||
- | |||
- | |||
- | > ceph mon stat | ||
- | Permet de voir le cluster des mons | ||
- | |||
- | > ceph osd lspools | ||
- | Pour voir toutes les pools | ||
- | |||
- | |||
- | > rbd ls nom_d' | ||
- | Pour voir toutes les block devices d'une pool | ||
- | |||
- | |||
- | > rbd snap ls nom_d' | ||
- | Pour voir tous les snapshots d'un block device | ||
- | |||
- | |||
- | ==== Problèmes de PGs - Remplacer un disque défaillant ==== | ||
- | |||
- | Si vous avez des problèmes avec vos Placement Groups c'est peut-être qu'un disque est endommagé, vous pouvez allez voir [[wiki: | ||
- | |||
- | ===== À MiNET... ===== | ||
- | |||
- | {{ : | ||
- | |||
- | À MiNET, nous disposons de 3 serveurs qui agissent comme noeud Ceph: **Atlas**, **Callisto** et **Phobos**. Callisto est au U1 alors que Phobos & Atlas sont en salle serveur. | ||
- | |||
- | Dans chaque serveur, il y a 10 OSDs (liés à des disques de 2TB), un mon et un mgr. | ||
- | |||
- | **Attention: | ||
- | Si jamais la salle serveur n'est plus alimentée: Phobos et Atlas s' | ||
- | |||
- | Pour qu'il soit encore en majorité il a fallut rajouter des MON sur d' | ||
- | |||
- | Ces MONs __ne sont pas des dans des VMs/CTs__, c'est normal ! Il faut qu'il puissent avoir une IP dans le 142, or, vu qu'on ne veut pas que les VMs puissent avoir une patte dans le 142, on a pas fait de bridge, et donc on a du mettre directement sur l' | ||
- | |||
- | {{ : | ||
- | |||
- | On voit bien sur ce schéma très propre, que si vous enlevez une salle (bulle bleue) il vous reste toujours 3 MONs sur 5! Vous avez donc la majorité | ||
- | |||
- | Si vous regardez / | ||
- | |||