• Quantum Plugin Comparison
• From Nova-network to Quantum

Enjoy the reading !

“F” release is the next stable version of OpenStack.

Since Essex has been released in April 2012, we can see that many new features are coming thanks to developers. The biggest one is for sure that Quantum is now a core project and Virtual Networking is rapidly approaching. Volume service has now its own separated project : Cinder.

We are going to see here what you can’t miss to know for next release.

Note : Keep in mind the list is not exhaustive and I note here the highlights only.

Keystone

PTL for the next 6 months : Joe Heck

Glance

PTL for the next 6 months : Brian Waldon

Nova

PTL for the next 6 months : Vish Ishaya

Cinder

PTL for the next 6 months : John Griffith

Quantum

PTL for the next 6 months : Dan Wendlandt

I highly recommend to read this article to understand how works Quantum.

Horizon

PTL for the next 6 months : Gabriel Hurley

Swift

PTL for the next 6 months : John Dickinson

Conclusion

Congratulations to developers !

If you want to deploy OpenStack Folsom, you can use the guide I wrote in which I explain how to install Folsom packages into Ubuntu 12.04 with Ubuntu Folsom Testing PPA.

In the future, you will have to use Cloud Archive to upgrade into Folsom with Ubuntu 12.04, or to use Ubuntu 12.10.

I could not wait until the official release to perform some tests, and also decided to get their hands dirty in playing without using DevStack.

Reading the mailing list every day, I can see that I’m not alone who is testing it, so I decided to write a first guide which helps in the Folsom Deployment on Ubuntu 12.04.

I took the decision to use Folsom Testing Packages since this PPA stays close to master code of each project. It was actually a once-in-a-lifetime opportunity to report packaging issues, and to get things moving for Ubuntu.

Keep in mind my work is still under development, but please fill free to report any problem.

Good testing !

https://github.com/EmilienM/openstack-folsom-guide

Note : This documentation has been merged on the OpenStack Official Documentation. Please patch directly on the openstack-manuals github.

That’s really weird, and in the same time strange because I only have this issue with one Access Point.

I can connect to the Wireless Network, but after 5 seconds I can see that I lost 30% of packets and can not use Internet connection.

To see which driver you are runnning, please use this command :

my1@nano:~$ sudo lshw -class network
  *-network               
       description: Wireless interface
       product: AR9285 Wireless Network Adapter (PCI-Express)
       vendor: Atheros Communications Inc.
(...)

After investigation, I found a solution to fix this issue :

sudo rmmod ath9k
sudo modprobe ath9k nohwcrypt=1
echo "options ath9k nohwcrypt=1">>/etc/modprobe.d/ath9k.conf

Try now to connect to your Wifi, and that should be better.

Quantum is going to be a core project in OpenStack next release (Folsom).

If we use Quantum as the Network Manager, we can’t configure nova-network in multi_host mode, that’s why we loose High Availability for nova-network.

Quantum-Server can be a single-point-of-failure, that’s why I was thinking about how to fix that. As everyone in the list, I could see that Hastexo and Sebastien Han worked on Nova RA (Resource Agent) for Pacemaker.

I decided to work on Quantum Server RA and wrote something very close from other agents. You can directly have a look on the RA GitHub or follow my HowTo below.

Note : with this RA, we don’t bring HA in nova-network, but in Quantum Server service only. I think this feature will be available in a close future.

Requirements

I use two VMs with Ubuntu 12.04 LTS Server installed & configured with one NIC.

Here is the network configuration :

• quantum-server-1: 192.168.2.129/24
• quantum-server-2: 192.168.2.130/24

• Install Quantum-Server, OVS Plugin (optional) and Git :
  ^?View Code BASH

  apt-get update apt-get install -y quantum-server quantum-plugin-openvswitch git

 

• Configure Quantum to use OVS Plugin in editing the /etc/quantum/plugins.ini file :
  ^?View Code BASH

  [PLUGIN] provider = quantum.plugins.openvswitch.ovs_quantum_plugin.OVSQuantumPlugin

Note : if you’re using Folsom Testing Packages, you should modify /etc/quantum/quantum.conf only :

^?View Code BASH

core_plugin = quantum.plugins.openvswitch.ovs_quantum_plugin.OVSQuantumPlugin

 

• Stop quantum-server process :
  ^?View Code BASH

  service quantum-server stop

Pacemaker Basic Configuration

• Installation on both servers :
  ^?View Code BASH

  apt-get install -y pacemaker

• Configure /etc/hosts file on both servers :
  ^?View Code BASH

  192.168.2.129 quantum-server-1 192.168.2.130 quantum-server-2

• On first server :
  ^?View Code BASH

  corosync-keygen scp /etc/corosync/authkey root@quantum-server-2:/root

• On second server :
  ^?View Code BASH

  sudo mv ~/authkey /etc/corosync/authkey sudo chown root:root /etc/corosync/authkey sudo chmod 400 /etc/corosync/authkey

• On both servers, configure /etc/corosync/corosync.conf file :
  ^?View Code BASH

  secauth: yes bindnetaddr: 192.168.2.0

• On both servers, allow corosync to be started. To do that, modify /etc/default/corosync file :
  ^?View Code BASH

  START=yes

• And start the service :
  ^?View Code BASH

  /etc/init.d/corosync start

 

Ressource Agent Installation

• On both servers :
  ^?View Code BASH

  mkdir /usr/lib/ocf/resource.d/openstack cd /usr/lib/ocf/resource.d/openstack/ wget https://github.com/madkiss/openstack-resource-agents/raw/master/ocf/quantum-server chmod +x quantum-server crm ra info ocf:openstack:quantum-server

• On first server :
  ^?View Code BASH

  crm configure property stonith-enabled=false crm configure property no-quorum-policy=ignore crm configure rsc_defaults resource-stickiness=100 crm configure primitive p_vip ocf:heartbeat:IPaddr params ip="192.168.2.150" cidr_netmask="24" nic="eth0" op monitor interval="5s" crm configure primitive p_quantum_server ocf:openstack:quantum-server params config="/etc/quantum/quantum.conf" op monitor interval="5s" timeout="5s" crm configure group g_quantum_servers p_quantum_server p_vip

You can check the cluster :

^?View Code BASH

root@quantum-server-1:~# crm_mon -1 ============ Last updated: Tue Jul 17 12:19:52 2012 Last change: Tue Jul 17 11:16:30 2012 via crm_attribute on quantum-server-1 Stack: openais Current DC: quantum-server-1 - partition with quorum Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c 2 Nodes configured, 2 expected votes 2 Resources configured. ============   Online: [ quantum-server-1 quantum-server-2 ]   p_vip (ocf::heartbeat:IPaddr): Started quantum-server-1 p_quantum_server (ocf::openstack:quantum-server): Started quantum-server-1

 

Configure nova-network

Configure the Quantum Host flag like this :

^?View Code BASH

--quantum_connection_host=192.168.2.150

We actually use this IP (p_vip) for access to the Quantum Server by 9696 TCP port (by default).

 

Simulate a failure

We are going to stop Quantum-Server-1 :

^?View Code BASH

crm node standby quantum-server-1

And check if Quantum-Server is working on Server 2 :

^?View Code BASH

ps -ef | grep quantum-server

You should see quantum-server process.

To enable Server 1 after failure :

^?View Code BASH

crm node online quantum-server-1

Note: Depending of your resource-stickiness value, the process can stay on Server-2.

 

Conclusion

Feel free to bring your own experience here, that’s actually not a definitive solution and let me know if something is wrong.
Of course, we don’t have a full high availability since Nova-Network process does not support it [yet].

 

Thank’s to Sebastien Han for his help !

 

Source

While Quantum is still incubating in OpenStack Essex, we can see Open-Source plugins compatible with differents technologies.

For remind, a Plugin makes possible the communication between Networking technologies & Networking features in OpenStack, like virtual NICs and virtual Bridges. Most of the features we can find today are L2. In a close future, we will see extended L3 features and other stuffs.

Today, I’m interesting about OpenFlow which becomes a standard in the network technologies. Recently, OpenFlow community released an OpenFlow Plugin for Quantum.

After playing with it, I decided to write some words about its implementation. Let’s go.

Prepare the Network Controller

We are going to use Floodlight Network Controller which is free & Open-Source.

There is two ways to install it :

• by downloading the ready-to-use VM here. If you run it, you should enable Quantum feature with this command :
  ^?View Code BASH

  touch /opt/floodlight/floodlight/feature/quantum

  and also reboot the VM.

• by building from scratch the appliance.

I’m going to show you the second one :

• Prepare an Ubuntu 12.04 LTS Server clean and up to date.
• Download this required packages :
  ^?View Code BASH

  sudo apt-get install build-essential default-jdk ant python-dev git

• Download the last version of FloodlightSoftware :
  ^?View Code BASH

  git clone git://github.com/floodlight/floodlight.git

• Run Ant in the Floodlight directory :
  ^?View Code BASH

  cd floodlight; ant

• Finally, run the controller :
  ^?View Code BASH

  java -jar target/floodlight.jar -cf src/main/resources/quantum.properties

• You can check if the controller is working well :
  ^?View Code BASH

  curl 127.0.0.1:8080/quantum/v1.0 {"status":"ok"}

The Controller is ready, we can now configure OpenStack Services to run the plugin correctly.

Prepare the Quantum Server

• Install Quantum-Server :
  ^?View Code BASH

  sudo apt-get install quantum-server git

• Get the last version of the Plugin here :
  ^?View Code BASH

  git clone git://github.com/floodlight/quantum-restproxy.git

• Copy the quantum-restproxy files in /usr/lib/python2.7/dist-packages/quantum/plugins/restproxy directory. You should take care that the plugin directory name is “restproxy” if you want running Quantum-Server !
• We can configure the Quantum-Server with the script provided in scriptsdir (after editing it with mysql username/password):
  ^?View Code BASH

  ./install-plugin.sh network-controller:8080

• And run the service :
  ^?View Code BASH

  service quantum-server restart

Prepare Nova-Network

Configure nova-network to use quantum network manager. In nova.conf add:

--network_manager=nova.network.quantum.manager.QuantumManager
--quantum_connection_host=quantum-server
--quantum_use_dhcp=True

Prepare Nova-Compute node(s)

• Configure the vif driver, and libvirt/vif type to use OVS. In nova-compute.confadd:
  ^?View Code BASH

  --connection_type=libvirt --libvirt_ovs_bridge=br-int --libvirt_vif_type=ethernet --libvirt_vif_driver=nova.virt.libvirt.vif.LibvirtOpenVswitchDriver --linuxnet_interface_driver=nova.network.linux_net.LinuxOVSInterfaceDriver

• Edit /etc/libvirt/qemu.conf:
  ^?View Code BASH

  cgroup_device_acl = ["/dev/null", "/dev/full", "/dev/zero","/dev/random", "/dev/urandom","/dev/ptmx", "/dev/kvm", "/dev/kqemu","/dev/rtc", "/dev/hpet", "/dev/net/tun",]

• And restart libvirt service :
  ^?View Code BASH

  service libvirt-bin restart

Prepare Open-vSwitch

Open-vSwitch must be installed and configured on each nova-compute & nova-network node.

• Install Open-vSwitch packages :
  ^?View Code BASH

  sudo apt-get install openvswitch-switch

• Prepare the OS for OVS :
  ^?View Code BASH

  apt-get install -y openvswitch-datapath-source modprobe openvswitch_mod echo "openvswitch_mod">>/etc/modules

• To prepare the virtual bridge, we must run :
  ^?View Code BASH

  ovs-vsctl --no-wait --if-exists del-br br-int ovs-vsctl --no-wait add-br br-int ovs-vsctl --no-wait br-set-external-id br-int bridge-id br-int ovs-vsctl set-controller br-int "tcp:network-controller:6633" ovs-vsctl add-port br-int eth1

That’s all !

You can now run common commands to create private networks. More about that here.

Conclusion

We can hear more and more about SDN Technologies and also OpenFlow. That’s really great to have several plugins which can be run with OpenStack Software and we can say that OpenStack is going to be ready to provide a full Networking As A Service with Standards Ecosystems.

Note : If you need more help to run OpenStack in development environment, maybe you will like my documentation.

Source

But today, I’m proud to release my first documentation on OpenStack.

I’ve been working for three weeks with StackOps for my internship, and my work is about Quantum (Networking as a service in OpenStack).

It was quite difficult to have a working infrastructure because Quantum is only in “incubation” for Essex release. That’s why I release a documentation in which anyone can test this fabulous software.

You can find this documentation with all configuration files & scripts here.

Or read it directly here :

Download (PDF, 323KB)

Share & Enjoy !

N.B. : Thank’s to StackOps team for the welcome in Madrid.

Please let me know if you can find some mistakes, and of course I will correct it.

Toujours dans mon projet de formation sur OpenStack, j’ai décidé de me concentrer sur la partie stockage d’une infrastructure.
 
 
 
Je recherchais une solution qui répondait à ces critères :

• Environnement Open-Source
• Respect des standards
• Compatibilité avec les IaaS du marché (on verra plus tard que j’ai testé VMware & OpenStack)
• Bien documenté, et si possible un forum bien actif

J’ai donc choisis de tester NexentaStore Enterprise Edition dans sa version d’essai.

Ce que j’ai eu en plus avec Nexenta :

• Une interface d’administration & de configuration user-friendly (Web-GUI)
• Une liste très impressionnante de plugins (gratuits & payants) qui apportent des fonctionnalités non-négligeables
• La chance de pouvoir tester NexentaStor Enterprise Edition gratuitement pendant 45 jours.
• L’immense chance de pouvoir tester le plugin “HA Cluster” (que nous verrons plus tard) pendant 45 jours également (merci à l’équipe de Nexenta de m’avoir aidé).

Qu’est-ce que l’Open-Storage ?

Pour résumer l’Open-Storage avec des mots simples :
Fournir du stockage de manière standard, provenant de différentes sources, propriétaires ou libres. C’est donc s’affranchir du matériel propriétaire et hétérogène, pour rationaliser ses ressources en stockage.
L’Open-Storage est donc une solution économique de se créer une baie de disque hautement disponible et tolérante aux pannes, à partir de différentes sources de stockage.
En résumé, voici 3 avantages liés à l’Open-Storage :

• Votre stockage devient ouvert et accessible, grâce aux standards de l’industrie du stockage.
• Vous dessinez vous-même votre architecture de stockage. Il n’y a donc aucune limite à votre infrastructure !
• Votre Hardware devient flexible, dans la mesure où tout changement devient transparent pour l’utilisateur final.

Cas concret :

Je dispose actuellement d’une baie de stockage EMC, avec des disques plutôt performants en lecture / écriture. A coté de ça, j’ai récupéré une baie de disques SSD (très rapides donc), et enfin une baie assez ancienne comprenant des vieux disques toujours opérationnels.

Dans mon réseau, je souhaite fournir du stockage :

• assez performant pour mes serveurs ESXi pour le stockage des machines virtuelles.
• plutôt rapide pour mon infrastructure VDI, fournie par VMware View
• lent, mais facilement extensible pour du Cloud storage (exemple : Dropbox, Ubuntu One, SkyDrive, etc).

Ce que fait NexentaStore :

Pour commencer les présentations, il est bon de rappeler les bases.

NexentaStor est une appliance, basée sur OpenSolaris. Étant payante, j’ai donc usé de la licence Trial qui m’a permis de tester le produit dans sa totalité pendant 45 jours.

Il existe une version gratuite, NexentaStor Community Edition qui permet de fournir jusqu’à 18To de stockage (Raw). Attention, je n’évoquerai pas ce produit dans cet article car il ne supporte pas l’ajout des plugins type “HA Cluster” & autre.

Pour voir la liste complète des fonctionnalités, vous pouvez directement le lire sur le site officiel. Cependant, voici les points intéressants de ce produit :

• Système de fichiers ZFS 128 bits
• Aucune limite de stockage (ni eu capacité de stockage, ni en taille de fichier)
• Compatible SAN (iSCSI & FC) & NAS (NFS, CIFS, WebDAV et FTP)
• Optimisation du stockage (compression, dé-duplication)
• Création de Pools de stockage (pour améliorer les performances)
• Snapshots à chaud
• Réplication synchrone et asynchrone (pour faciliter le Disaster Recovery)
• Intégrité des données
• De nombreux plugins très puissants (je reviendrai plus tard vers le plugin HA Cluster)
• Et enfin, ce que j’ai vraiment apprécié : intégration avec VMware, Xen, OpenStack et Hyper-V.

Avec NexentaStor, je vais être capable de rationaliser le stockage que j’ai à ma disposition, de le rendre hautement disponible et tolérant aux pannes, et enfin de le distribuer vers des hôtes à travers des protocoles standards et connus de tous.

Mon infrastructure

Des fois, un bon vieux dessin vaut mieux qu’un gros pavé. Donc j’ai pris Visio pour vous montrer mon architecture :

• Je dispose d’une baie EMC avec des disques dur SAS en RAID 5, ainsi qu’une autre baie avec des disques SSD.
• Mes 2 appliances sont virtualisées dans mon infrastructure VMware, et sont en cluster avec le plugin HA.
• Je fournis du stockage pour les clients légers (VDI), mes VMs & volumes (pour OpenStack), et pour du Cloud Storage.

Ce que j’ai testé :

Dans un premier temps, j’ai testé :

• les fonctionnalités de base : Mapping de volumes over iSCSI, partage de fichier CIFS (dans un domaine 2008 R2 Natif), et NFS.
• Ensuite, j’ai fait la demande au service commercial de Nexenta pour tester gratuitement le plugin HA Cluster (qui coûte 4900 $). Il m’a permis de rendre hautement disponible le stockage que je met à disposition sur on réseau.

Je vais m’attarder sur ce plugin car je l’ai trouvé particulièrement puissant :

• L’installation se fait assez aisément, mais il faut au préalable avoir lu la documentation officielle (comme d’hab, RTFM !!!), sinon vous aurez des erreurs.
• J’ai été agréablement surpris. Tout a fonctionné du 1er coup : l’installation du plugin, la configuration de la mise en cluster des 2 appliances, la création des volumes à partager, et la configuration dans VMware ESX (la configuration du Multipath se fait toute seule).
• J’ai testé le basculement vers le serveur secondaire en mode Failover automatique et l’interruption de service était de 8 secondes (le temps pour l’IP Failover de switcher vers l’autre serveur). J’ai vraiment aimé le principe de pouvoir utiliser les cartes réseaux en Failover et continuer à fournir le stockage depuis le serveur principal. Si c’est le serveur en entier qui n’est pas accessible, l’autre prendra le relais et le service ne sera pas stoppé.

Voici une capture d’écran du dashboard du plugin HA Cluster (Cliquez-sur l’image pour agrandir) :

Par rapport à ce plugin, je dirais qu’il va à l’essentiel : il fonctionne et permet réellement de faire de la HA au niveau storage.

• Autre plugin très intéressant : VMDC (Virtual Machines Datastore Center). Il permet de gérer les datastores d’un hyperviseur directement depuis l’IHM de NexentaStor. Il est compatible avec VMware, Xen et Hyper-V. Suivant l’API de l’hyperviseur, certaines fonctionnalités sont disponibles en plus, comme l’arrêt ou le redémarrage des VMs.

• Je garde le meilleur pour la fin… le plugin OpenStack, qui permet d’intégrer du stockage fournis par NexentaStor dans une infrastructure OpenStack, et plus particulièrement pour le service nova-volumes (qui fournit des block devices aux VMs). De base, le driver est capable de créer des volumes, de les supprimer, et de réaliser des snapshots, et tout ça grâce aux REST API. Je rajouterai encore quelque chose de très pertinent : la distribution StackOps intègre nativement le driver NexentaVolumeDriver, et permet dès le SmartInstaller d’indiquer où se trouve le serveur NexentaStor.

Ce que j’en pense :

Vous l’aurez compris… que du bien !

Non, plus sérieusement. NexentaStor est un produit de qualité, et je pense qu’en s’ouvrant aux différentes technologies, il s’offre un bel avenir devant lui, et continuera de séduire tous ceux qui ne peuvent pas s’offrir des baies de stockages propriétaires. Ce que j’ai vraiment aimé, c’est la compatibilité avec les différents protocoles de transport de fichiers (NFS, CIFS, FTP, WebDAV) et également les technologies SAN (iSCSI & FC). De plus, ses plugins font de NexentaStor une solution flexible, et ouverte à un environnement hétérogène. Peu importe votre matériel et vos outils déjà en place : il sait s’adapter, et offrir ce qu’il sait faire de mieux : du stockage hautement disponible.

Les alternatives :

Il existe plusieurs alternatives, mais j’en ai testé une Open-Source, et une propriétaire.

Il s’agit de FreeNAS, et de Datacore SAN-Symphony-V.

• Concernant FreeNAS, ses fonctionnalités ne sont pas aussi poussées que les produits de Nexenta.
• Pour SAN-Symphony-V de Datacore, j’ai eu la chance d’avoir un cours sur le produit, ainsi qu’un TP à l’université. Je dois dire que le software est impressionnant, et qu’il fournit du stockage de manière performante et hautement disponible grâce à la mise en cluster. Il ne manquerait plus qu’une interopérabilité avec d’autres acteurs du  Cloud comme le fait Nexenta avec ses plugins vus précédemment, ainsi qu’une REST-API (le seul moyen d’administrer le stockage sous SSV étant le Powershell ou la GUI en dotnet depuis Windows). J’ai eu l’occasion de créer du stockage à partir de SAN-Symphony pour OpenStack nova-volumes, mais je n’ai pas fait de benchmark pour le comparer avec le produit Nexenta.

Si des gurus du Cloud lisent cet article, n’hésitez pas à laisser votre commentaire !
 
Je vous laisse, je retourne dans mes nuages

J’explique le concept de partage de cartes réseaux sur un serveur VMware ESX.

C’est vidéo est la 1ère partie car elle est théorique, et la 2ème sera pratique puisqu’on configurera ensemble un vSwitch suivant le résultat obtenu dans la 1ère vidéo.

Alors, vous avez compris ?

Pour rappel, HP se lance dans le Cloud public avec l’arrivée d’HP Cloud Services qui propose tout comme ses concurrents (RackSpace, IBM, …) un cloud de type IaaS (Infrastructure As A Service).

Je me suis donc précipité sur l’invitation, et j’ai créé mon compte afin de tester tout ça.

Pour tout vous avouer, ce qui m’a le plus motivé à tester le produit, c’est évidemment le fait qu’il soit basé sur OpenStack.

Je vous rapporte donc ce que j’ai testé, et les différentes fonctionnalités que j’ai appréciées ou celle que je n’ai pas vues.

Résultats du test :

- Compute :

• 2 clusters localisés à l’ouest des USA (pour l’instant).
• Pour ma part, aucun problème de latence.
• 6 tailles de serveurs (j’ai testé la standard.xsmall ainsi que la standard.large)
• Plusieurs images disponibles, toutes basées sur Linux (Ubuntu, CentOS)
• 1 IP publique par VM ! Pour le coup, j’ai vraiment été surpris.
• la gestion des VMs peut se faire via API (avec euca2ools) sinon depuis le dashboard d’HP qui est plutôt bien fait.
• On accède aux VMs par SSH (avec la clé privée qu’il faut télécharger), et le terminal est bien renseigné (facturation, ressources consommées, charge en temps réel…)
• Voici mes critiques : impossibilité de faire des snapshots des VMs (pour l’instant j’imagine), pas moyen pour le moment de créer des volumes, et de les attacher aux VMs (avec la fonction de snapshot si possible).
• Ensuite, j’aurais bien apprécier de pouvoir migrer les VMs entre cluster, mais je n’ai pas eu de réponse d’HP concernant cette fonctionnalité… A voir donc si ce sera possible dans l’avenir.

- Cloud storage :

• L’interface Web intègre une gestion de son Cloud Storage.
• Les fonctionnalités sont rudimentaires : Envoyer / Télécharger des fichiers depuis cet espace.
• J’imagine que derrière tout ça se cache le module Swift (OpenStack Storage) donc rien à dire de ce coté, si ce n’est qu’on ne connaît pas encore la limite de stockage pour l’offre de base, et il n’y a pas encore de fonction de partage de fichier. Bref, c’est une Beta !!
• Cela-dit, je suis plutôt content qu’une interface web soit enfin développée pour gérer du cloud storage avec Swift. Remarquez sur la capture d’écran que l’interface est plutôt simple mais assez complète pour l’instant.

Bien sûr, ces remarques n’engagent que moi-même, et je suis ouvert à toute discussion.

Dans tous les cas, je suis très heureux de voir OpenStack continu d’être adopté par les plus grands de ce monde… Pourvu que ça dure !!!