Configuration de Proxmox 5 avec Openvswitch & Ceph

De $1

 howto05_small.pngL'architecture

Ayant déjà abordé l'installation de Proxmox je vais ici me contenter d'aborder les paramétrages.

N'hésitez pas à consulter les pages suivantes :

Installation et configuration de Proxmox

Ceph & Proxmox 3.x

 

proxmox 5.png

 

3 serveurs Proxmox & 4 réseaux distincts :

Réseau "Public" : Cluster Proxmox et accès aux VMs

Vlan 10 : Reseau public Ceph

Vlan 100 : Réseau cluster Ceph

Vlan 200 : Réseau pour les migrations des VMs

 

PVE01.yakakliker.org

IP public : 192.168.1.81
IP vlan 10 : 192.168.10.81
IP vlan 100 : 192.168.100.81
IP vlan 200 : 192.168.200.81


PVE02.yakakliker.org

IP public : 192.168.1.82
IP vlan 10 : 192.168.10.82
IP vlan 100 : 192.168.100.82
IP vlan 200 : 192.168.200.82

PVE03.yakakliker.org

IP public : 192.168.1.83
IP vlan 10 : 192.168.10.83
IP vlan 100 : 192.168.100.83
IP vlan 200 : 192.168.200.83
 

 howto05_small.pngConfiguration du réseau avec Openvswitch

 Installation :

apt-get install openvswitch-switch -y

 

Configuration des Proxmox :

Sur tous les nodes Proxmox, nous commençons par supprimer vmbr0 afin de le recréer en ovsbridge

pve01_vmbr0_01.png

 

Création d'un Bond en active backup avec 2 cartes réseau :

On commence par créer un OVS Bridge vmbr254 sans adresse IP ni carte réseau attribuée.

pve01_ovsbond_01.png

 

Ainsi qu'un OVS Bridge vmbr253 avec une carte réseau (Pour le vlan 200)

pve01_vmbr253.png

 

On crée ensuite un OVS Bond :

On renseigne le Mode, les cartes réseau attribuées et l'OVS Bridge vmbr254

pve01_ovsbond_02.png

 

Création du VLAN 10 :

On crée un OVS Intport :

Name : vlan10

IP address : 192.168.10.XXX

Subnet mask : 255.255.255.0

OVS Bridge : vmbr254

VLAN Tag : 10

pve01_vlan10.png

 

Création du VLAN 100 :

On crée un OVS Intport :

Name : vlan100

IP address : 192.168.100.XXX

Subnet mask : 255.255.255.0

OVS Bridge : vmbr254

VLAN Tag : 100

pve01_vlan100.png

 

Création du VLAN 200 :

On crée un OVS Intport :

Name : vlan200

IP address : 192.168.200.XXX

Subnet mask : 255.255.255.0

OVS Bridge : vmbr253

VLAN Tag : 200

pve01_vlan200.png

 

Pour finir, un OVS Bridge en "Host only" en vmbr999

pve01 vmbr999.png

 

Nous avons maintenant 1 carte réseau pour le cluster Proxmox, 2 cartes réseau en mode "Active Backup" pour les 2 réseaux Ceph et 1 carte réseau pour les migrations VMs au sein du cluster.

 

 howto05_small.pngCréation du cluster Proxmox

Renseignement du fichier hosts :

Sur PVE01.yakakliker.org :

nano /etc/hosts

Rajouter :

192.168.1.82    pve02.yakakliker.org    pve02

192.168.1.83    pve03.yakakliker.org    pve03

 

Sur PVE02.yakakliker.org :

nano /etc/hosts

Rajouter :

192.168.1.81    pve01.yakakliker.org    pve01

192.168.1.83    pve03.yakakliker.org    pve03

 

Sur PVE03.yakakliker.org :

nano /etc/hosts

Rajouter :

192.168.1.82    pve02.yakakliker.org    pve02

192.168.1.81    pve01.yakakliker.org    pve01

 

 

 

Création du cluster Proxmox nommé "Yakakliker"

Sur PVE01

pvecm create Yakakliker --ring0_addr 192.168.1.81 --bindnet0_addr 192.168.1.0

Sur les autres nodes :

pvecm add 192.168.1.81

 

Pour finir pour contrôler :

pvecm status

 

 howto05_small.pngCréation du cluster Ceph

Sur tous les nodes :

pveceph install --version luminous

 

Création du cluster Ceph :

Sur PVE01 :

pveceph init --network 192.168.10.0/24

 

Modification du "cluster network" dans le fichier /etc/pve/ceph.conf

cluster network = 192.168.100.0/24

 

Sur tous les nodes :

pveceph createmon

pveceph createmgr

 

Création des OSD :

Sur chaque node et pour chaque OSD :

pveceph createosd /dev/sdX -journal_dev /dev/sdX

 

Creation du pool et connexion du storage via l'interface graphique.

pool.png

Penser à cocher "Add Storages" pour que le cluster se connecte automatiquement au pool.

Ce qui donnera ceci :

storage ceph 1.png

storage ceph2.png

 

 

 howto05_small.pngConfiguration des migrations sur le vlan200

 

Editer /etc/pve/datacenter.cfg

migration: insecure,network=192.168.200.0/24

 

 howto05_small.pngTuning Proxmox

Paramétrages de la Swap

Modifier la section

Dans le fichier /etc/sysctl.conf :

vm.swappiness = 10

 Les cartes réseau

# 1GE/16MB (16777216)
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216
net.core.optmem_max = 40960
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
 

# 10GE/32MB (33554432)
#net.core.rmem_max = 33554432
#net.core.wmem_max = 33554432
#net.core.rmem_default = 33554432
#net.core.wmem_default = 33554432
#net.core.optmem_max = 40960
#net.ipv4.tcp_rmem = 4096 87380 33554432
#net.ipv4.tcp_wmem = 4096 65536 33554432

# 10GB/54MB (56623104)
#net.core.rmem_max = 56623104
#net.core.wmem_max = 56623104
#net.core.rmem_default = 56623104
#net.core.wmem_default = 56623104
#net.core.optmem_max = 40960
#net.ipv4.tcp_rmem = 4096 87380 56623104
#net.ipv4.tcp_wmem = 4096 65536 56623104


## Increase number of incoming connections. The value can be raised to bursts of request, default is 128
net.core.somaxconn = 1024

## Increase number of incoming connections backlog, default is 1000
net.core.netdev_max_backlog = 50000

##  Maximum number of remembered connection requests, default is 128
net.ipv4.tcp_max_syn_backlog = 30000

## Increase the tcp-time-wait buckets pool size to prevent simple DOS attacks, default is 8192
net.ipv4.tcp_max_tw_buckets = 2000000

# Recycle and Reuse TIME_WAIT sockets faster, default is 0 for both
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1

## Decrease TIME_WAIT seconds, default is 30 seconds
net.ipv4.tcp_fin_timeout = 10

## Tells the system whether it should start at the default window size only for TCP connections
## that have been idle for too long, default is 1
net.ipv4.tcp_slow_start_after_idle = 0

#If your servers talk UDP, also up these limits, default is 4096
net.ipv4.udp_rmem_min = 8192
net.ipv4.udp_wmem_min = 8192

## Disable source redirects
## Default is 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.all.accept_redirects = 0

## Disable source routing, default is 0
net.ipv4.conf.all.accept_source_route = 0

 

Pour appliquer la configuration :

sysctl -p

 

 howto05_small.pngTuning Ceph

Désactivation des logs

nano /etc/pve/ceph.conf
[global]
debug asok = 0/0
debug auth = 0/0
debug buffer = 0/0
debug client = 0/0
debug context = 0/0
debug crush = 0/0
debug filer = 0/0
debug filestore = 0/0
debug finisher = 0/0
debug heartbeatmap = 0/0
debug journal = 0/0
debug journaler = 0/0
debug lockdep = 0/0
debug mds = 0/0
debug mds balancer = 0/0
debug mds locker = 0/0
debug mds log = 0/0
debug mds log expire = 0/0
debug mds migrator = 0/0
debug mon = 0/0
debug monc = 0/0
debug ms = 0/0
debug objclass = 0/0
debug objectcacher = 0/0
debug objecter = 0/0
debug optracker = 0/0
debug osd = 0/0
debug paxos = 0/0
debug perfcounter = 0/0
debug rados = 0/0
debug rbd = 0/0
debug rgw = 0/0
debug throttle = 0/0
debug timer = 0/0
debug tp = 0/0

 

 howto05_small.pngVous en pensez quoi ?


 

{{ iframe{ uri: "http://le_lien" , width: "1024", height: "768", scrolling: "True" } }}   

 

 

Enrichissez Yakakliker en y contribuant vous aussi.

 
Images (12)
Voir 1 - 6 sur 12 images | Voir tout
Proxmox Ceph
Proxmox Ceph
storage c...  Actions
Proxmox Ceph
Proxmox Ceph
storage c...  Actions
Proxmox Ceph
Proxmox Ceph
pool.png  Actions
Proxmox Openvswitch
Proxmox Openvswitch
pve01 vmb...  Actions
Proxmox Openvswitch
Proxmox Openvswitch
pve01_vmb...  Actions
Proxmox Openvswitch
Proxmox Openvswitch
pve01_vla...  Actions
Commentaires (0)
Vous devez être connecté pour poster un commentaire.