PROXMOX HA (Haute Dispo)

De $1

punaise1.gif

Sommaire

 

Prérequis

2 Serveurs Proxmox constitués chacun d'un volume spécifique pour les VM (Sda pour le système & Sdb pour les VM) et d'au minimum 2 cartes réseau

Serveur 1 : Proxmox01

Eth0 : 192.168.151.18

Eth1 : 10.168.151.18

Serveur 2 : Proxmox02

Eth0 : 192.168.151.19

Eth1 : 10.168.151.19

Procédure

Installation de Proxmox sur chacun des 2 serveurs

Création du cluster Proxmox

Préparation du Master

Se connecter en SSH sur Proxmox01

Configuration de Proxmox01 en Master
pveca -c

Vérification

pveca -l
CID----IPADDRESS----ROLE-STATE--------UPTIME---LOAD----MEM---ROOT---DATA
1 : 192.168.151.18 M A 5 days 01:43 0.54 20% 1% 4%
Ajout de Proxmox02 au cluster

Se connecter en SSH sur Proxmox02

Jonction au cluster
pveca -a -h 192.168.151.18

Vérification

pveca -l
CID----IPADDRESS----ROLE-STATE--------UPTIME---LOAD----MEM---ROOT---DATA
1 : 192.168.151.18 M A 5 days 01:43 0.54 20% 1% 4%
2 : 192.168.151.19 N A 2 days 05:02 0.04 26% 5% 29%

Installation et configuration de DRBD

Sur les 2 serveurs :

apt-get update

Création de la partition sur chacun des 2 serveurs

Proxmox01 :
 

proxmox01:~# fdisk /dev/sdb
The number of cylinders for this disk is set to 19457.                             
There is nothing wrong with that, but this is larger than 1024,              
and could in certain setups cause problems with:   
1) software that runs at boot time (e.g., old versions of LILO)                                   
2) booting and partitioning software from other OSs                             
   (e.g., DOS FDISK, OS/2 FDISK)                                                           
                                                                          
Command (m for help): n                                                           
Command action                          
   e   extended                                           
   p   primary partition (1-4)            
p                                   
Partition number (1-4): 1                                                                  
First cylinder (1-19457, default 1):                                                
Using default value 1                                                                 
Last cylinder or +size or +sizeM or +sizeK (1-19457, default 19457): 
Using default value 19457                                         
                                                        
Command (m for help): t                                       
Selected partition 1                                                     
Hex code (type L to list codes): 8e                                                    
Changed system type of partition 1 to 8e (Linux LVM)                                        
                                                                               
Command (m for help): p                                                   
                                                                  
Disk /dev/sdb: 160.0 GB, 160041885696 bytes                                              
255 heads, 63 sectors/track, 19457 cylinders                                     
Units = cylinders of 16065 * 512 = 8225280 bytes                                 
Disk identifier: 0x49e2fd2f                                    
                                                     
   Device Boot      Start         End      Blocks   Id  System                              
/dev/sdb1               1       19457   156288321   8e  Linux LVM                        
                                                                  
Command (m for help): w                                    
The partition table has been altered!                                   
                                                                   
Calling ioctl() to re-read partition table.                       
                                            
Syncing disks.
proxmox01:~#

 

Proxmox02 :
 

proxmox02:~# fdisk /dev/sdb
                                                                 
The number of cylinders for this disk is set to 19457.                                 
There is nothing wrong with that, but this is larger than 1024,                            
and could in certain setups cause problems with:                                
1) software that runs at boot time (e.g., old versions of LILO)                                   
2) booting and partitioning software from other OSs                                     
   (e.g., DOS FDISK, OS/2 FDISK)                                        
                                                              
Command (m for help): n                                 
Command action                                          
   e   extended                                        
   p   primary partition (1-4)                               
p                                                      
Partition number (1-4): 1                           
First cylinder (1-19457, default 1):                           
Using default value 1                                    
Last cylinder or +size or +sizeM or +sizeK (1-19457, default 19457):                              
Using default value 19457                                       
                                                     
Command (m for help): t                                      
Selected partition 1                                       
Hex code (type L to list codes): 8e                            
Changed system type of partition 1 to 8e (Linux LVM)                              
                                                            
Command (m for help): p                                       
                                                          
Disk /dev/sdb: 160.0 GB, 160041885696 bytes                                    
255 heads, 63 sectors/track, 19457 cylinders                           
Units = cylinders of 16065 * 512 = 8225280 bytes                              
Disk identifier: 0x49e2fd2f                              
                                                           
   Device Boot      Start         End      Blocks   Id  System                           
/dev/sdb1               1       19457   156288321   8e  Linux LVM                          
                                                         
Command (m for help): w                                  
The partition table has been altered!                                
                                                   
Calling ioctl() to re-read partition table.                     
                       
Syncing disks.
proxmox02:~#

 

Installation de DRBD

Sur les 2 serveurs

apt-get install drbd8-utils

Editer le fichier sur les 2 hyperviseurs : /etc/drbd.conf

proxmox-105:~# cat /etc/drbd.conf
global { usage-count no; }
common { syncer { rate 30M; } }
resource r0 {
        protocol C;
        startup {
                wfc-timeout  15;     # wfc-timeout can be dangerous (http://forum.proxmox.com/threads/3465-Is-it-safe-to-use-wfc-timeout-in-DRBD-configuration)
                degr-wfc-timeout 60;
                become-primary-on both;
        }
        net {
                cram-hmac-alg sha1;
                shared-secret "my-secret";
                allow-two-primaries;
                after-sb-0pri discard-zero-changes;
                after-sb-1pri discard-secondary;
                after-sb-2pri disconnect;
        }
        on proxmox01 {
                device /dev/drbd0;
                disk /dev/sdb1;
                address 10.168.151.18:7788;
                meta-disk internal;
        }
        on proxmox02 {
                device /dev/drbd0;
                disk /dev/sdb1;
                address 10.168.151.19:7788;
                meta-disk internal;
        }
}

Démarrer DRBD sur les 2 hyperviseurs

/etc/init.d/drbd start

Création du volume sur les 2 hyperviseurs

drbdadm create-md r0

Montage du volume sur les 2 hyperviseurs

drbdadm up r0

Vérifications

proxmox01:~# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by root@oahu, 2009-09-10 15:18:39
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:2096348

Redémarrage de DRBD sur les 2 hyperviseurs (par acquis de conscience)

/etc/init.d/drbd stop
/etc/init.d/drbd start

Démarrage de la synchronisation depuis Proxmox01 (uniquement)

drbdadm -- --overwrite-data-of-peer primary r0

Vérification

proxmox01:~# cat /proc/drbd 
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:SyncSource ro:Primary/Primary ds:UpToDate/Inconsistent C r----
    ns:17003584 nr:0 dw:0 dr:17004240 al:0 bm:1037 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:471365536
    [>....................] sync'ed:  3.5% (460316/476920)M
    finish: 3:02:41 speed: 42,912 (30,744) K/sec

Attendre la fin de la synchronisation

proxmox01:~# cat /proc/drbd 
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Primary ds:UpToDate/UpToDate C r----
    ns:488369120 nr:0 dw:0 dr:488369776 al:0 bm:29808 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
proxmox01:~# 

Configuration du volume LVM

Modification du fichier lvm.conf sur les 2 hyperviseurs

nano /etc/lvm/lvm.conf

# By default we accept every block device:
filter = [ "r|/dev/sdb1|", "r|/dev/disk/|", "r|/dev/block/|", "a/.*/" ]

Sur Proxmox01

Création du volume physique pour LVM

proxmox01:~# pvcreate /dev/drbd0
  Physical volume "/dev/drbd0" successfully created
proxmox01:~#

Vérification

proxmox01:~# pvscan
  PV /dev/sda2    VG pve             lvm2 [465.26 GB / 4.00 GB free]
  PV /dev/drbd0                      lvm2 [149.04 GB]
  Total: 2 [613.30 GB] / in use: 1 [613.30 GB] / in no VG: 1 [4.00 GB]
proxmox01:~#

Création du "Volume group"

proxmox01:~# vgcreate drbdvg /dev/drbd0
  Volume group "drbdvg" successfully created
proxmox01:~#

Vérification

proxmox01:~# pvscan
  PV /dev/sda2    VG pve             lvm2 [465.26 GB / 4.00 GB free]
  PV /dev/drbd0   VG drbdvg          lvm2 [149.04 GB / 149.04 GB free]
...
proxmox01:~#

Vous pouvez maintenant créer un groupe LVM via l'interface web de Proxmox

proxmox003a.png

proxmox004a.png

proxmox005a.png 

 Il vous reste plus qu'à créer vos VM.

Connexion d'un SAN iSCSi sur chacun des 2 hyperviseurs avec synchronisation DRBD

Plus fort ! Connexion de 2 SAN avec synchronisation via DRBD

But

Connecter un SAN sur chacun des 2 hyperviseurs avec synchronisation automatique via DRBD

Pour le test il s'agira de 2 NAS/SAN de type Iomega StorCenter ix2-200 configurés chacun en RAID 0.

Un volume iSCSi de env 1.6 To est créé sur chaque NAS

PERNAS002 : 10.10.151.11

PERNAS004 : 10.10.151.70

Prérequis

Une 3ème carte réseau sur chaque serveur pour la synchronisation DRBD des SAN

Proxmox01

eth2 : 10.10.151.18

Proxmox02

eth2 : 10.10.151.19

Procédure

Connexion de PERNAS002 sur Proxmox01 en iSCSi

Scan du NAS

proxmox01:~# iscsiadm -m discovery -t st -p 10.10.151.11 
10.10.151.11:3260,1 iqn.1992-04.com.emc:storage.PERNAS002.PERNAS002
proxmox01:~#

Connexion

proxmox01:~# iscsiadm -m node -T iqn.1992-04.com.emc:storage.PERNAS002.PERNAS002 -p 10.10.151.11:3260 --login 
Logging in to [iface: default, target: iqn.1992-04.com.emc:storage.PERNAS002.PERNAS002, portal: 10.10.151.11,3260]
Login to [iface: default, target: iqn.1992-04.com.emc:storage.PERNAS002.PERNAS002, portal: 10.10.151.11,3260]: successful
proxmox01:~# 

Vérification

proxmox01:~# iscsiadm -m node 
10.10.151.11:3260,1 iqn.1992-04.com.emc:storage.PERNAS002.PERNAS002
proxmox01:~#
proxmox01:~# fdisk -l 

Disk /dev/sdc: 1793.1 GB, 1793148846080 bytes
255 heads, 63 sectors/track, 218004 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000


Disk /dev/sdc doesn't contain a valid partition table
Reconnexion automatique du volume au démarrage

Editer le fichier correspondant dans :

/etc/iscsi/nodes/<iscsi target name>/<Adresse IP> 

et remplacer :

node.conn[0].startup = manual par automatic

Création de la partition
proxmox01:~# fdisk /dev/sdc Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xc61f0b47.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.


The number of cylinders for this disk is set to 218004.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n 
Command action
   e   extended
   p   primary partition (1-4)
p 
Partition number (1-4): 1 
First cylinder (1-218004, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-218004, default 218004):
Using default value 218004

Command (m for help): t 
Selected partition 1
Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): p 
Disk /dev/sdc: 1793.1 GB, 1793148846080 bytes
255 heads, 63 sectors/track, 218004 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0xc61f0b47

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      218004  1751117098+  8e  Linux LVM

Command (m for help): w 
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
proxmox01:~# 
 

Connexion de PERNAS004 sur Proxmox02 en iSCSi

Scan de PERNAS004

proxmox02:~# iscsiadm -m discovery -t st -p 10.10.151.70
10.10.151.70:3260,1 iqn.1992-04.com.emc:storage.PERNAS004.PERNAS004
proxmox02:~#

Connexion

proxmox02:~# iscsiadm -m node -T iqn.1992-04.com.emc:storage.PERNAS004.PERNAS004 -p 10.10.151.70:3260 --login
Logging in to [iface: default, target: iqn.1992-04.com.emc:storage.PERNAS004.PERNAS004, portal: 10.10.151.70,3260]
Login to [iface: default, target: iqn.1992-04.com.emc:storage.PERNAS004.PERNAS004, portal: 10.10.151.70,3260]: successful
proxmox02:~#

Vérification

proxmox02:~# iscsiadm -m node
10.10.151.70:3260,1 iqn.1992-04.com.emc:storage.PERNAS004.PERNAS004
proxmox02:~# 
proxmox02:~# fdisk -l


Disk /dev/sdc: 1793.1 GB, 1793148846080 bytes
255 heads, 63 sectors/track, 218004 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sdc doesn't contain a valid partition table
proxmox02:~#

Reconnexion automatique du volume au démarrage

Editer le fichier correspondant dans :

/etc/iscsi/nodes/<iscsi target name>/<Adresse IP> 

et remplacer :

node.conn[0].startup = manual par automatic

Création de la partition
proxmox02:~# fdisk /dev/sdc 
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x442260c1.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.


The number of cylinders for this disk is set to 218004.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p 
Partition number (1-4): 1 
First cylinder (1-218004, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-218004, default 218004):
Using default value 218004

Command (m for help): t 
Selected partition 1
Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): p 
Disk /dev/sdc: 1793.1 GB, 1793148846080 bytes
255 heads, 63 sectors/track, 218004 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x442260c1

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      218004  1751117098+  8e  Linux LVM

Command (m for help): w 
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
proxmox02:~# 
 

Configuration de DRBD

Editer le fichier /etc/drbd.conf sur les 2 hyperviseurs

# You can find an example in  /usr/share/doc/drbd.../drbd.conf.example

#include "drbd.d/global_common.conf";
#include "drbd.d/*.res";

global { usage-count no; }
common { syncer { rate 30M; } }
resource r0 {
        protocol C;
        startup {
                wfc-timeout  15;     # wfc-timeout can be dangerous (http://forum.proxmox.com/threads/3465-Is-it-safe-to-use-wfc-timeout-in-DRBD-configuration)
                degr-wfc-timeout 60;
                become-primary-on both;
        }
        net {
                cram-hmac-alg sha1;
                shared-secret "my-secret";
                allow-two-primaries;
                after-sb-0pri discard-zero-changes;
                after-sb-1pri discard-secondary;
                after-sb-2pri disconnect;
        }
        on proxmox01 {
                device /dev/drbd0;
                disk /dev/sdb1;
                address 10.168.151.18:7788;
                meta-disk internal;
        }
        on proxmox02 {
                device /dev/drbd0;
                disk /dev/sdb1;
                address 10.168.151.19:7788;
                meta-disk internal;
        }
}
resource r1 {
        protocol C;
        startup {
                wfc-timeout  15;     # wfc-timeout can be dangerous (http://forum.proxmox.com/threads/3465-Is-it-safe-to-use-wfc-timeout-in-DRBD-configuration)
                degr-wfc-timeout 60;
                become-primary-on both;
        }
        net {
                cram-hmac-alg sha1;
                shared-secret "my-secret";
                allow-two-primaries;
                after-sb-0pri discard-zero-changes;
                after-sb-1pri discard-secondary;
                after-sb-2pri disconnect;
        }
        on proxmox01 {
                device /dev/drbd1;
                disk /dev/sdc1;
                address 10.10.151.18:7788;
                meta-disk internal;
        }
        on proxmox02 {
                device /dev/drbd1;
                disk /dev/sdc1;
                address 10.10.151.19:7788;
                meta-disk internal;
        }
}
 

Demarrer DRBD sur les 2 hyperviseurs

/etc/init.d/drbd start

Création du volume sur les 2 hyperviseurs

drbdadm create-md r1

Montage du volume sur les 2 hyperviseurs

drbdadm up r1

Vérifications 

proxmox01:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Primary ds:UpToDate/UpToDate C r----
    ns:0 nr:520192 dw:520192 dr:1180 al:0 bm:126 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
 1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:1751063620
proxmox01:~#
 

 

proxmox02:~# cat /proc/drbd 
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Primary ds:UpToDate/UpToDate C r----
    ns:0 nr:0 dw:0 dr:144 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
 1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:1751063620
proxmox02:~#

Démarrage de la synchronisation depuis Proxmox01 (uniquement)

drbdadm -- --overwrite-data-of-peer primary r1

Vérification

proxmox01:~# cat /proc/drbd 
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Primary ds:UpToDate/UpToDate C r----
    ns:310216 nr:520192 dw:830408 dr:238436 al:501 bm:126 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
 1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----
    ns:51953468 nr:0 dw:0 dr:51954384 al:0 bm:3170 lo:0 pe:277 ua:7 ap:0 ep:1 wo:b oos:1699119012
    [>....................] sync'ed:  3.0% (1659292/1710020)M
    finish: 90:45:53 speed: 5,056 (21,132) K/sec
proxmox01:~# 

Attendre la fin de la synchronisation (Pour 1.7 To, vous avez le temps pour un café ...)

Configuration du volume LVM

Modification du fichier lvm.conf sur les 2 hyperviseurs

nano /etc/lvm/lvm.conf

# By default we accept every block device:
filter = [ "r|/dev/sdb1|", "r|/dev/sdc1|", "r|/dev/disk/|", "r|/dev/block/|", "a/.*/" ]

Sur Proxmox01

Création du volume physique pour LVM

proxmox01:~# pvcreate /dev/drbd1
  Physical volume "/dev/drbd1" successfully created
proxmox01:~#

Vérification

proxmox01:~# pvscan
  
proxmox01:~#

Création du "Volume group"

proxmox01:~# vgcreate drbdvg1 /dev/drbd1
  Volume group "drbdvg1" successfully created
proxmox01:~#

Vérification

proxmox01:~# pvscan
  
proxmox01:~#

Vous pouvez maintenant créer un groupe LVM via l'interface web de Proxmox

Préparation des liens pour démarrer les VM en cas de crash d'un des éléments

Un simple copier/coller des fichiers .conf des VM situés dans le répertoire "/etc/qemu-server/" dans le même répertoire sur le deuxième hyperviseur.

Supprimer le démarrage automatique dans les propriétés du lien de backup.

Tout est prêt pour un démarrage de secours en cas de crash.

proxmox002.png

 

Procédure le jour du crash

Si l'hyperviseur 1 crash, se connecter en ssh sur l'hyperviseur 2

Lister les VM dispo : qm list

Lancer la VM en question : qm start XXX

 

Pistes à creuser 

Elaboration d'un script de surveillance permettant de démarrer automatiquement les VM sur l'hyperviseur restant

Couplage du script à un outil de monitoring type Nagios (EyesOfNetwork)

 howto05_small.pngVous en pensez quoi ?


 

 

 

 

 

Enrichissez Yakakliker en y contribuant vous aussi.

 
Images (7)
Voir 1 - 6 sur 7 images | Voir tout
Aucune description
002a.png  Actions
Aucune description
001a.png  Actions
Aucune description
warning.png  Actions
Aucune description
proxmox00...  Actions
Aucune description
proxmox00...  Actions
Aucune description
proxmox00...  Actions
Commentaires (3)
Affichage de 3 commentaires sur 3: voir tout
Salut yaka'

J'ai un cluster Proxmox de 3 noeud ( pour la HA ) avec DRBD basé sur du LVM.

J'ai deux points sur lesquels je bloque, à savoir:
- Configuration réseau (cf. http://forum.proxmox.com/threads/13652-Network-amp-Services-Configuration?p=73506#post73506)
- DRBD (cf. http://forum.proxmox.com/threads/13660-DRBD-in-HA-PRA#post73555)

( J'espère que mettre des liens n'est pas prohibé :P )

Aurais-tu une idée ?

Merci,

Bonne journée,

Cordialement,
Posté 11:58, 30 Avr 2013
Salut cyt,

Je récapitule :

Sur chacun des 3 serveurs tu as 2 cartes réseau giga.

Avec ces 2 cartes réseau tu as fait un bond en rr (round robin)

Sur ce bond tu as créé 3 Vlans :

1 : Pour la synchro du cluster Proxmox et le management
2 : Pour ton réseau VMs
3 : Pour la synchro de ton DRBD (apparemment limitation à 30 M)

J'ai bon ?

Si oui,

Questions :

1) Qu'as tu comme switch derrière (des fois que) ?
2) Perso, j'ai rencontré des problèmes avec le round robin, as tu essayé avec par exemple le LACP ? (a tout hasard)
3) Juste à tout hasard, pourquoi seulement 2 chipsets réseau ?

Amicalement,
Posté 17:15, 30 Avr 2013
Une vidéo sur Youtube

http://www.youtube.com/watch?v=OjORUwDY63U
Posté 07:57, 3 Mar 2014
Affichage de 3 commentaires sur 3: voir tout
Vous devez être connecté pour poster un commentaire.