L'Imp'Rock Scénette (by @_daffyduke_)

Notes Oracle Enterprise Manager

Olivier Duquesne aka DaffyDuke — 2015-10-29T11:35:00Z

cloud => Mêmes interrogations qu'au début internet vision Oracle: * vente à licence => abonnement (usage) * mêmes infra pour réversibilité * plat de spaghettis aux cupcakes * une console unique pour public+private+hybrid (toute option d'infra) Oracle Database Cloud Service => dashboards pour pilotage/monitor/... * Schema Service :juste un schéma dans un cloud Oracle * Database as a Service : Oracle Linux 6.4, quelques éditions, ..., * Virtual Ed : vm prépackagées, conf à faire * Cloud tooling : idem mais préconfiguré => Workshop à venir (1j) Oracle Backup Cloud Service En ce moment : rman + media (le media devient un cloud dans cette solution) Pour des bases existantes ou sur du on-premise. Chiffrés, Compression (option advanced security/compression backup normalement) ici option(s) fournie(s) avec l'option Cloud : compatible HCC sur Hexadata exclusivement aux US chez Oracle (!Patriot Act!) Intégrée à Enterprise Manager 33 $ / To / mois Intérêt du partenariat à revoir : attention aux usages direct depuis les clients Oracle Java Cloud Service SES Extension provi en cloud => VM Weblo / cluster (Server et ou Portal) => plus orienté prod VirtualImage : Weblo complet pour DRP (Coherence inclus mais attention à l'actif/actif si >5ms) => plus orienté dev Pas d'autoscalling, mais scal bien à chaud Patching et rollback l'image (cool, géré en parallèle de base par exemple via la même console, avec la config du weblo par exemple) Inclus LB = celui d'HexaLogic = Traffic Director Coherence en option Oracle Integrtion Cloud Service Offre BPM Suite, Process Cloud Service pour modéliser les workflow : compatible Bonita (BPMn2.0) => liant avec services tiers comme SalesForce cloud.oracle.com : business intelligence dispo Oracle Document Cloud Service : Dropbox Social Network Service : Yammer DataGuard dans un cloud Oracle (à venir) Big Data (à venir) Note: bannir le dblink sur les offres clouds Concurrence : Azure + Amazon (où les licences ne sont pas incluses) Attention au pourcentage de comm' obligatoire si usage des produits SalesForce Programme des droits de reventes Cloud

FAN vs TAF

Olivier Duquesne aka DaffyDuke — 2010-12-01T16:37:00Z

Non ni TAF ni FAN(FCF) ne rejouent les transactions DML (insert/update/delete) il faut les reprogrammer, mais ce n'est pas une obligation. Seul TAF permet la reconnection automatique

du client et uniquement sur une Query si configuré (pas DML) FAN ne le fait pas car FAN est un mecanisme programmatique

TAF permet le rejeu d'un select automatiquement si configuré, mais en réalité ne sert qu'en DataWarehouse lors de select conséquents. Je le configure ici pour éviter sa reprogrammation

donc il sera utile et utilisé pour les transactions de type Query

Une totale transparence transactionnelle est l'idéal mais il faut bien voir que sa programmation n'est pas des plus simple dans les deux cas (FAN ou TAF) : il faudrait que les developpeurs

par exemple puissent encapsuler une connexion database dans une classe spéciale pour les transaction en failover et dans une autre classe pour une logique sans failover s'ils veulent

categoriser les transactions à rejouer par exemple.

De plus la gestion des événements doit être maîtrisée et elle ne pourra se faire qu'au prix de tests sur une plateforme "crashable".

Je ne pense pas que la décision du rejeu d'une transaction dépende uniquement du développement mais soit de plus haut niveau.

Que cela soit TAF ou FAN la non prise en compte d'un code retour s'l 'est pas correctement trappée par l'exception correspondante terminera le programme.

La base commence toujours par défaire(rollback) les changements non commités (l' instance restante) une erreur sera remontée au client qui devrait à son tour faire son propre rollback.

Une seconde erreur est remontee pour indiquer que la connexion est perdue. Cette erreur là devra être trappée si l'on souhaite rejouer la transaction.

FAN

La difference entre TAF et FAN est notée ici :

– Application-level connection retries

Fast Connection Failover supports application-level connection retries. This gives the application control of responding to connection failovers. The application can choose whether to retry the connection or to rethrow the exception. TAF supports connection retries only at the OCI/Net layer. => Avec FCF c'est à la charge du developpeur de se reconnecter. Avec TAF c'est automatique.

– Integration with the implicit connection cache

Fast Connection Failover is well-integrated with the implicit connection cache, which allows the connection cache manager to manage the cache for high availability. For example, failed connections are automatically invalidated in the cache. TAF works at the network level on a per-connection basis, which means that the connection cache cannot be notified of failures => ???

– Event-based

Fast Connection Failover is based on the Oracle RAC event mechanism. This means that Fast Connection Failover is efficient and detects failures quickly for both active and inactive connections.

– Load-balancing support

Fast Connection Failover supports UP event load balancing of connections and run-time work request distribution across active Oracle RAC instances.

FAN repose sur ONS (oracle notification service) qui permet la notification des évnemenents remonté par EVMD. ONS est deja configure sur les noeud du cluster et nécessite

une configuration supplementaire sur le middle pour être activé.

Il faut noter une difference essentielle entre TAF et FAN à savoir que FAN remonte les informations d'etat directement au niveau applicatif (push) alors

que TAF se contente de faire du polling (client). FAN est donc beaucoup plus réactif. FAN peut neanmoins être integre avec TAF

Pour programmer FAN il est possible d'utiliser soit C soit Java. Ensuite on peut utiliser soit ONS API C soit ONS Java API soit

implicit cache connection de JDBC et FCF et laisser la gestion des evenement FAN par la librairie JDBC (jdbc)(JDBC-OCI ou jdbc thin) ce qui evite d'avoir a gerer l'API ONS directement.

Dans le dernier cas il y a toujours une gestion des evenements mais FAN mais est plus "souple" à programmer.

DBCP fonctionne avec Oracle Cache connection et FCF (Fast Connection Failover) dans sa version actuellement implantée sur nos serveurs. Il faut activer implict cache connection et FCF.

TAF

On peut néanmoins s'éviter la programmation FAN en utilisant les callback et l'interface OracleOCIFailover pour programmer le rejeu du DML.

Il faut implementer la fonction callback fourni par la classe OracleOCIFailover

Dans une transaction classique :

Registrer la fonction callback : => registerTAFCallback()

// Fonction qui crée une nouvelle connexion void handleDBConnections() { try { DriverManager.registerDriver(new oracle.jdbc.OracleDriver()); con = (OracleConnection) DriverManager.getConnection("jdbc:oracle:oci:@DBDATA","user","passwd"); if (con != null) this.RegisterFailover(); } catch (SQLException e) { cat.debug("Error Occurred while registring failover."); e.printStackTrace(); } } // Fonction qui execute une query void runQuery() { ...... try { String query = "insert into essai values (1)"; rs = stmst.executeQuery(query); } catch (SQLException e) { if ((e.getErrorCode() == 1012) || (e.getErrorCode() == 1033) || // Ces codes d'erreur sont relatif à une node failure ou connexion failure (e.getErrorCode() == 1034) || (e.getErrorCode() == 1089) || (e.getErrorCode() == 3113) || (e.getErrorCode() == 3114) || (e.getErrorCode() == 10203) || (e.getErrorCode() == 12500) || (e.getErrorCode() == 12571) || (e.getErrorCode() == 25408)) cat.debug("Node Failed pendant l'execution d'une instruction INSERT/DELETE/UPDATE"); //rollback rollback(); // Obtenir une nouvelle connection handleDBConnections(); <= on redemande une nouvelle connexion // Réexecuter la transaction un certain nombre de retry a programmer soi meme runQuery(); } else // L'erreur n'est pas une node failure rollback(); } }

Enfin la fonction callback (que j'ai remis dans un exemple complet mais dont la premiere partie n'est la que pour montrer le register de la callback)

La seconde partie montre l'implantation de la callback.

L'implementation de la callback n'est pas obligatoire si on ne veut pas rejouer du DML mais elle peut être là pour logger le comportement du failover OU permettre

de redemander une connexion en cas de probleme du failover ou bien d'aborter la demande. Dans ce cas precis FO_ERROR = 5 l'application peut redemander une reconnexion

du nombre de fois spécifié par le parametrage de tnsnames.ora (RETRIES) je pense et sleep pendant le temps indique dans le programme

si specifié (ou parametre DELAY ?)

La doc oracle n'etant pas tres precise et prolixe en la matiere cela est à tester.

Les points d'interrogation sont le comportement du programme en cas FO_ERROR = 5. Le comportement de TAF est de recreer une connexion automatiquement en cas de failover sur une query pas sur DML . Dans le cas ou l'on implémente une Query c'est TAF via tnsnames qui automatiquement recrée une connexion mais rien

n'interdit d'aborter le retry dans le cas FO_ERROR = 5, il suffit de ne pas envoyer un FO_RETRY.

L'exemple que je fournis est sur du DML et c'est à la charge du programme de redemander une connexion via la fonction handleDBConnections()) si souhaité

Dans ce cas je pense aussurement que le parametre RETRIES et DELAY ne sont plus geres par tnsnames mais par l'application qui doit elle meme gerer ses compteurs de retry et de sleep

Encore une fois on peut aborter le nombre de retries dans le cas du FO_ERROR si souhaité.

Enfin la doc n'est pas tres claire s'il faut fournir un rollback au niveau applicatif ou pas (comme je l'ai indiqué dans la fonction runQuery())

- * This sample demonstrates the registration and operation of - * JDBC OCI application failover callbacks - * Note: Before you run this sample, set up the following - * service in tnsnames.ora: - * inst_primary=(DESCRIPTION= - * (ADDRESS=(PROTOCOL=tcp)(Host=hostname)(Port=1521)) - * (CONNECT_DATA=(SERVICE_NAME=ORCL) - * (FAILOVER_MODE=(TYPE=SELECT)(METHOD=BASIC)) - * ) - * ) - * Please see Net8 Administrator's Guide for more detail about - * failover_mode - * - * To demonstrate the the functionality, first compile and start up the sample, - * then log into sqlplus and connect /as sysdba. While the sample is still - * running, shutdown the database with "shutdown abort;". At this moment, - * the failover callback functions should be invoked. Now, the database can - * be restarted, and the interrupted query will be continued. - * - */ - // You need to import java.sql and oracle.jdbc packages to use - // JDBC OCI failover callback - import java.sql.*; - import java.net.*; - import java.io.*; - import java.util.*; - import oracle.jdbc.OracleConnection; - import oracle.jdbc.OracleOCIFailover; - import oracle.jdbc.pool.OracleDataSource; - public class OCIFailOver { - static final String user = "hr"; - static final String password = "hr"; - static final String URL = "jdbc:oracle:oci8:@inst_primary"; - public static void main (String[] args) throws Exception { - Connection conn = null; - CallBack fcbk= new CallBack(); - String msg = null; - Statement stmt = null; - ResultSet rset = null; - // Create a OracleDataSource instance and set properties - OracleDataSource ods = new OracleDataSource(); - ods.setUser(user); - ods.setPassword(password); - ods.setURL(URL); - // Connect to the database - conn = ods.getConnection(); - // register TAF callback function - ((OracleConnection) conn).registerTAFCallback(fcbk, msg); - // Create a Statement - stmt = conn.createStatement (); - for (int i=0; i<30; i++) { - // Select the NAMEs column from the EMPLOYEES table - rset = stmt.executeQuery ("select FIRST_NAME, LAST_NAME from EMPLOYEES"); - // Iterate through the result and print the employee names - while (rset.next ()) - System.out.println (rset.getString (1) + " " + - rset.getString (2)); - // Sleep one second to make it possible to shutdown the DB. - Thread.sleep(1000); - } // End for - // Close the RseultSet - rset.close(); - // Close the Statement - stmt.close(); - // Close the connection - conn.close(); - } // End Main() - } // End class jdemofo - /* - * Define class CallBack - */ - class CallBack implements OracleOCIFailover { - // TAF callback function - public int callbackFn (Connection conn, Object ctxt, int type, int event) { - /********************************************************************* - * There are 7 possible failover event - * FO_BEGIN = 1 indicates that failover has detected a - * lost connection and faiover is starting. - * FO_END = 2 indicates successful completion of failover. - * FO_ABORt = 3 indicates that failover was unsuccessful, - * and there is no option of retrying. - * FO_REAUTH = 4 indicates that a user handle has been re- - * authenticated. - * FO_ERROR = 5 indicates that failover was temporarily un- - * successful, but it gives the apps the opportunity - * to handle the error and retry failover. - * The usual method of error handling is to issue - * sleep() and retry by returning the value FO_RETRY - * FO_RETRY = 6 - * FO_EVENT_UNKNOWN = 7 It is a bad failover event - *********************************************************************/ - String failover_type = null; - switch (type) { - case FO_SESSION: - failover_type = "SESSION"; - break; - case FO_SELECT: - failover_type = "SELECT"; - break; - default: - failover_type = "NONE"; - } - switch (event) { - case FO_BEGIN: - System.out.println(ctxt + ": "+ failover_type + " failing over..."); - break; - case FO_END: - System.out.println(ctxt + ": failover ended"); - break; - case FO_ABORT: - System.out.println(ctxt + ": failover aborted."); - break; - case FO_REAUTH: - System.out.println(ctxt + ": failover needs reauthorization"); - break; - case FO_ERROR: - System.out.println(ctxt + ": failover error gotten. Sleeping..."); - // Sleep for a while of 2s - try { - Thread.sleep(2000); - } - catch (InterruptedException e) { - System.out.println("Thread.sleep has problem: " + e.toString()); - } - return FO_RETRY; - default: - System.out.println(ctxt + ": bad failover event."); - break; - } - return 0; - } - } - Sample code to test FCF - The code sample below shows the way how FCF works, it may not necessarily be the best way to do, but it should give you a general idea of what is needed. Make sure to change the following strings in the program, <hostname1>, <hostname2> and <service_name>. import java.sql.Connection; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import java.util.Properties; import oracle.jdbc.pool.OracleDataSource; public class FCFDemo { public staticvoid main(String[] args) throws InterruptedException { try { OracleDataSource ods = new OracleDataSource(); ods.setUser("scott"); ods.setPassword("tiger"); String dbURL="jdbc:oracle:thin:@" +"(DESCRIPTION=" + "(ADDRESS=(PROTOCOL =TCP)" + "(HOST=<hostname1>)(PORT=1521))" + "(ADDRESS=(PROTOCOL =TCP)" + "(HOST=<hostname2>)(PORT=1521))" + "(LOAD_BALANCE=ON)(CONNECT_DATA=(SERVICE_NAME=<service_name>)))"; ods.setURL(dbURL); ods.setConnectionCachingEnabled(true); ods.setConnectionCacheName("cache"); Properties prop = new Properties(); prop.setProperty("MinLimit", "5"); prop.setProperty("MaxLimit", "40"); prop.setProperty("InitialLimit", "10"); ods.setConnectionCacheProperties(prop); ods.setFastConnectionFailoverEnabled(true); Connection conn = ods.getConnection(); System.out.println(conn); Statement stmt=null; ResultSetrs = null; try { while (true) { rs =stmt.executeQuery("select instance_name from v$instance"); while(rs.next()) { System.out.println("Instance name: " + rs.getString(1)); } Thread.sleep(1000); } } catch (SQLException sqle) { conn =ods.getConnection(); //Re-get the conn stmt =conn.createStatement(); } } catch(Exception e) { e.printStackTrace(); } } }

#!/bin/sh count=0 while [ $count -lt 5 ] # Set up a loop control do # Begin the loop count=<code class='spip_code spip_code_inline' dir='ltr'>expr $count + 1</code> # Increment the counter sqlplus -s scott/tiger@R2d1C@test.sql done col "Instance" format a20 col "Host" format a20 col "Service Name" format a20 select sys_context('userenv', 'instance_name') "Instance", sys_context('userenv', 'server_host') "Host", sys_context('userenv', 'service_name') "Service Name" from dual / exit;

Note :

Driver-type dependency : TAF is in fact a OCI failover mechanism exposed to Java through JDBC-OCI. FCF is driver-type independent (i.e., works for both JDBC-Thin and JDBC-OCI).

Solutions Linux 2007

Olivier Duquesne aka DaffyDuke — 2007-02-08T18:30:00Z

Déploiement

Déploiement à grande échelle d'une solution libre d'inventaire et de gestion de parc par Walid NOUH / Atos Origin

– Les slides de la conférence

L'exploitation de Linux à large échelle par Patrice LALLEMENT / RIFT

– solution à base de master de CD Rom : fragile, un master par site, assez statique. Nécessite des master par matériel. Long pour un déploiement à grande échelle.
– solution en client léger : il suffit de maintenir le server. Problème, sur la plupart des déploiements récents, il s'agit de postes lourds qui font tourner des applications déportées, ce qui revient à maintenir les deux solutions.
– virtualisation : chaque machine tourne dans une image virtuelle facilement déplyable et modifiable : xen/vmware/qemu .

Utilisation de Mondorescue (Disaster Recovery) par Bruno Cornec / HP

génération de CD/DVD/ISO , archivage au format lzo / gzip / afio (afio car l'archivage se fait fichier par fichier, alors que cpio s'apparente plus à tar) tout en prenant en compte la géométrie des disques (bientôt la configuration RAID grâce à l'intégration d'outils HP tels que hpacucli, hponcfg, conrep, TBC). Les images sont bootables dans un qemu.
basé sur mindi (mini-distribution Linux bootable)
interfaces en GUI ou ligne de commande
ABSOLUMENT PAS PREVU pour effectuer des sauvegardes.
restauration possible via CD/PXE/iLo
permet le changement de filesystem
possibilité de faire de la comparaison système courant / système archivé
possibilité de déploiement par clônage (attention au matériel)
Slide présenté à Solutions Linux

Supervision avec des logiciels libres

Par Bruno Paul Martin / Bull

Avant de pouvoir superviser un ensemble de machines, il convient d'identifier plusieurs éléments :
– établir un inventaire des éléments à superviser et des configurations :

GLPI/OCS Inventory NG
OpenQRM
Netdisco (layer 2 et 3, Cisco Discovery Protocol)
Faith (qui utilise les Windows Management Instrumentation)
cfengine / fai (Fully Automatic Installation) / netdirector / RANCID (Really Awesome New Cisco confIg Differ)

– observer les journaux d'évènement

syslog-ng
OpenSIMS (Security Infrastructure Management System / gestion d'évènement de sécurité)

– définir des états de disponibilité et

des équipements
des services
Interfaces de monitoring :

mon / MRTG [1] / Oreon

(frontend Nagios, notion de SLAs) / cacti / ZenOSS (successeur de Crickett)

– effectuer des mesures de performance.

performance réelle : je roule à 52 km/h
performance sous condition : je roule 43 km en respectant les limitations de vitesse
performance limite : je peux rouler jusqu'à 210 km/h

– Il faut ensuite consolider ces différents indicateurs et établir des seuils de quantité/qualité/défaut/criticité.

– A la suite de quoi on peut ouvrir un système de gestion d'incident

– Présentation succinte de ZenOSS :

GUI pour la gestion, le reporting
Composé de modules : Zenmodel (conf), Zenrrd (collecte), Zenevents (monitoring)

Messagerie et Anti-Spam

Généralité et précisions sur le spam sous forme d'image, par Louis Nyffenegger / HSC

– D'après secuser 2006 : 95 % des mails sont des spams dont 30 % envoyés depuis des machines zombie.
– La plupart des méthodes antispam se basent sur des filtres baysiens. Ceux-ci se montrent particulièrement inefficace pour des images. Et que dire des spams via GPRS et voix sur IP. A l'heure actuelle, il s'agit essentiellement de texte sur fond coloré. Mais la difficulté à venir, c'est le texte sur fond de paysage, les gifs animés, les sons etc ...
– Un peu de métriques : sur 5000 spams ayant un score de 8 à 14, 2200 contenaient une image dont 70 images une seule fois, 1 image 10 fois, 1 image 1000 fois.
– Mis à part les filtres baysiens, on peut se baser sur des hash/md5 et faire apprendre manuellement les spams et les hams. Problème cette méthode est longue, et un md5 change si un pixel change. Le problème est similaire sur des comparaisons de signature.
– La parade efficace à ce jour est FuzzyOCR (plugin spamassassin)

il se base sur un datamining d'image (calcul moyen par couleur, géolocalisation de point, découpe et calcul)
Etude humaine avec kppv (recherche d'images proche)
Etude des kmeans : classification automatique en groupes de spams/hams, apprentissage par proximité : la qualité s'améliorant avec le nombre de groupes

– Les slides de la présentation

Méthode de filtrage par listes grises : milter-greylist, par Emmanuel Dreyfus / ESPCI, contributeur ipsec-tools

– Lié à une analyse comportementale d'un humain lors d'un envoi de mail avec mise en cache du triplet ip/adresse expéditeur/adresse destinataire et utilisation d'un délai maximal de réexpédition. Le courrier arrive donc en retard sauf s'il est déposé en liste blanche.
– milter-greylist est intégrable à postfix bien qu'initialement prévu pour sendmail.
– conséquence : croissance non négligeable de la file d'attente, des ressources qui ne sont bien entendu pas infinies.
– sont venues se greffer des règles de DNSRBL, de blacklistage/whithelistage, filtrage suivant le contenu
– on peut à terme imaginer le même genre de réglage mais par utilisateur dans une interface web par exemple, intégrer un système de statistiques, etc ...

QPMSTPD par Arnaud Assad / Cap Gemini

– qmail est un MTA pas complètement libre qui nécessite énormément de dépendances puisque son auteur a tout réécrit : syslog, mailq, bind etc ...
– qpsmtpd est un frontend perl qui permet de gérer en amont les spams, virus, hoax, chain mails et scams

– Exemple de plugins :

spam_ehlo : si ehlo yahoo mise en quarantaine, Yahoo ne s'identifiant jamais en tant que Yahoo.
ident_pof : identification de l'OS
geo_ip : Exemple de statistique
apache:qpsmtpd : permet d'utiliser apache en proxy smtp (fork un LISTEN en :25), il faut cependant créer un pseurdo qmaildir avant
check_earlytalker : vérifie les retour de code 2XX pour logguer/rejeter/etc ...
tarpits : garde une socket active si le MTA enrant est considéré comme spam

– Nettographie

Le projet SIGNAL-SPAM : Francis Bouvier / Direction du Développement des Médias

C'est une association crée en 2005 après une réflexion dès 2003 qui regroupe 7 autorités :

les institutions : la direction du développement des médias, la CNIL, le mninistère de la justice, l'office de lutte contre la cybercriminalité
des associations : l'AFA, l'AFOM (opérateurs mobiles), la BSA, la FEVAD (Vente à Distance)
des entreprises : SNCF, La Poste, Microsoft

– Il s'agit d'un outil de reporting de pishing, vol d'identité, arnaques sociales, réseaux criminels organisés.
– Contrairement à la boiteaspam chez cnil.fr qui n'était qu'un document Excell, il s'agira ici d'une architecture web comblète avec un formulaire en ligne de dénonciation.
– Il permettra les recoupements avec d'autres services comme SpotSpam (Europe), CNSA, LAP.

Bases de Données

Exemple de migration Oracle vers PostgreSQL, par Ugo Brunel / BULL

– Utilisation d'un outil ora2pg
– Durée d'intervention : transfert d'environ 11 Go en une journée (prise en compte de tous les éléments même les archivelogs) , 19 j pour la réécriture du code (shell/php)
– retour d'expérience :

doublons de vues dans les schémas tolérés en oracle
séparation obligatoire des données des contraintes, index, et clés étrangères. Ces dernières sont à recréer à la main.
attention la configuration par défaut de PostgreSQL est prévue pour une machine à 64 Mo de RAM
en php5 est arrivé pdo, un connecteur base de données qui permet de faire abstraction de la couche de base de donnée façon jdbc.

– Les slides de la conférence

Retour d'expérience d'une migration Oracle vers PostgreSQL par François Debray / Socopa

– Socopa c'est quoi :

une entreprise agroalimentaire qui fourni les cantines, boucheries, grandes surfaces et fabricants de produits dérivés.
23 sites, 8500 postes clients et 250 serveurs (AIX/Linux/Windows), administrés par 70 personnes

– Pourquoi ?

coût des licences
homogénéisation du parc
soucis de centralisation, portabilité et traçabilité

– Comment ?

déploiement de SAP sous Linux avec un connecteur EAI/Websphere
le sgbd devient alor PostgreSQL dans un
cluster heartbeat2 actif/passif avec synchro en drdb
passage de RedHat/Pg7.4 lors de l'étude à debian/Pg8 en production.

– La base de données

petite base (2,5 Go) mais qui nécessite une très haute disponibilité (gestion des automates en temps réel)
3 millions de transaction / jour , un temps de réponse de 11 ms
180 tables
coût de maintenance de 20 minutes/jour

– Les slides de la conférence

Exemple de migration Microsoft SQL vers Firefird par Philippe Makowski / A6-CMO

– Mode opératoire :

réécriture du code avec Database Workbench
création de la structure de base de façon manuelle dans un premier temps avec protection des triggers
utilisation de fbexport pour le dump

– Problèmes rencontrés

mssql
firebird
indicateurs	128 caractères espace compris !	31
booléens	1 ou 0	1 ou 0 ou char(1) (T/F)
autoincréments	indenté	généré avec déclencheur
GUID (Global Unique Ident)	uniq	char(36), géré par la librairie UDF
performances		lenteurs sur les vues, corrigées en firebird2
date	du 1/1/1753 à 31/12/9999	du 1/1/100 au 29/02/32768
longueur de varchar()	8000	32767

– Intérêt ressenti de la communauté de communes (Bordeaux)

fiabilité
pas de maintenance
pas de tuning (le moteur firebird est prévu pour s'adapter à la configuration matérielle), les deux seuls paamètres modifiables sont la taille de page et la mémoire cache
le client windows se résume à une seimple dll

– Utilisateurs de Firebird

XpertMart / MindWrap / Tabulex / DRB Systems

– Netographie

Migration DB2 vers MySQL au Crédit Mutuel par Serge Frezefond / dir. tech. Mysql AB

– Outils

– Le cas du Crédit Mutuel

migration vers mysql de toutes les applications web (site institutionnel, courtage, voyages)
site de la banque en ligne (1,5 milliards d'enregistrements)
aggrégat de calcul
génération d'état comptable
utlisation des snapshot NetApp pour le clonage.

– A venir dans MySQL / Roadmap (extraits)

vues matérialisées	2007
roles	5.2
partitionnement	5.1
support XML	5.1
scheduler	5.1
moteur falcon	5.2

– A noter, MySQL Cluster permet de répartir une instance RAM sur la RAM totale d'un cluster, pas dans un serveur unique.

Virtualisation : Xen de A à Xen

Différentes solutions pour Linux par Nicolas Parpandet / 1G6

– Intérêts de la virtualisation

faire cohabiter plusieurs OS ou applications
facilité de déploiement : définition de modèle, copie aisée, indépendance matérielle / distribution de produits
économie du nombre de machines, réduction des coûts d'infrastructure
tests de portabilité dans les développements
sécurité : systèmes indépendants, montage de honeypots
assurer une continuité de service sur des logiciels abandonnés (ex : Windows NT4)

– Virtualisation de Système d'Exploitation

1 seul noyau, 1 libc, 1 séparateur de process
problèmes de partage de ressources, isolation faible
solutions : OpenVZ, VServers, Chroot

– Virtualisation Système

BIOS / émulation matérielle / réécriture de code processeur à la volée
utilisation essentiellement personnelle pour des test d'OS/groupware/etc ...
généralement une seule image émulée par poste car très consommateur de ressources
solutions : VMWare (propriétaire), PearPC (Apple), QEmu (GPL, multiOS : simule x86/MIPS/SPARC/ARM/...)

– Virtualisation Machine

UML / User Mode Linux
1 noyau exécutable, vu en tant que processus
utilisé par des hébergeurs ou des debuggers du kernel
intégré au kernel natif
faibles performances

– Paravirtualisation

mise en place de fermes de serveurs dans des mini OS
dissociation matérielle
création rapide d'images
utilisé pour de la mise en recette, qualification, pré-production
méthode sécurisée
performances idéales, limitation CPU/RAM
utilisation de snapshot
solutions, Xen : utilisation d'un hyperviseur, mini-noyau Linux, bon isolement, bonnes perf, utilisation des instructions Intel VT et AMD P6. Fedora a développé un Virt-Manager (GUI graphique)

– Virtualisation matérielle

Assez neuf
Virtualisation de CPU
solutions : VMWare-ESX (distribution linux avec vmkernel, avec une console d'admin graphique distante) , KVM (kernel 2.6.20)

XEN , comment çà marche ? par Daniel Veillard / Red Hat

– bref historique

développé initialement par l'université de Cambridge avec un dom0 sous Windows (fonds de la part de Microsoft)
présentation à l'Ottawa Linux Symposium 2004
révolution multiOS comparable à la révolution du multitâche.
caractère antinomique de la réduction des coûts ET des risques

– Architecture

un hyperviseur, un dom0 (tourne dans le ring 1 et 3 en archi x86 ou 3 uniquement en x64) et des domU (ring 3)
un bus entre les domU qui réparti les appels hyperviseurs
les drivers matériels sont en mode user, mais chaque appel système est trappé par un patch kernel lourd et intrusif depuis le 2.6.18, grace à une glibcx et une encapsulation en python.
le XenStore (base de données) : elle gère les accès concurrents entre dom0, domU et hyperviseur. Système de snooping qui s'apparente aux trigger des bdd classiques
le Xend Daemon : démon en C dans le dom0 d'où problèmes de perf.

– Ce qui marche

bonne isolation des machines virtuelles
bonne gestion des CPUs
migration à chaud : sur une appli web, le débit moyen est de 860 Mb/s , descend un peu pendant la copie à cause de l'utilisation CPU, redescend encore un peu pendant le test final de check d'intégrité final et propagation ARP, puis revient à son niveau initial.
de 0 à 10% de dégradation des perfs par rapport à une machine physique.
Utilisation de virtual device (iSCSI, LVM, NBD, éventuellement QNBD ?) : mais attention aux problèmes de cache disque durant les phases de migration.
Il existe un plugin munin pour le reporting
Il existe différentes interfaces de gestion de cluster : Enomalism, Virt-Manager, DTC-Xen

– Ce qui pose problème

L'hyperviseur est relativement instable car souvent réécri d'une version à une autre.
pas de copie par snapshot car la machine tourne en RAM, pas de stockage sur le filesystem (sauf éventuellement dans le cas d'utilisation de fs le permettant tels LVM ou GFS, à tester)
A noter toute machine émulée réagi différemment suivant qu'elle ait un kernel modifié ou un kernel natif puisque les appels systèmes ne sont pas trappés de la même façon par l'hyperviseur.
Le code est relativement neuf, le code pour la gestion matériel est incomplet
le patch kernel est très intrusif
on ne peut pas faire tourner Xen sur des plateformes de plus de 64 Go de RAM
Ne fonctionne décidément plus sur archi PPC64
depuis Xen3, max à 3 cartes réseaux. Celles ci supportent le bonding mais pas le vlan 801q . Pire que tout, la numérotation change parfois au reboot !

– A venir

virtualisation complète grace à l'implémentation de code QEmu au niveau CPU (Intel et AMD). Les développements sont longs car l'architecture x86 n'est pas révue pour.
virtualisation complète grace à KVM (natif en 2.6.20)
virtualisation comlète grace à lquest (en gros un QEmu dans le dom0)
une séparation du dom0 (type hurd)
Le rêve des développeurs : implémentation native d'une API commune libvirt qui serai commune à Xen, QEmu, et KVM ....

– La présentation complète à Solutions Linux 2007

Xen, mise en oeuvre industrielle, retour d'expérience, par Stéphane Grand / architecte technique au centre Open Source d'Atos Origin

– problématique initiale

empilement de serveurs
charge applicative de temps en temps, consommation souvent faible de ressources.
établir une normalisation de déploiement, méthodolgie, habilitation, gestion des privilèges, etc ...
calcul de coût : 9000 € pour 4 Go de RAM / 14 lames par blade / 7 blades
calcul énergétique : 1 serveur : 800 W / 1 blade 300 W + 14 lames : 4200 W

– Utilisation de Xen

pour des serveurs de déploiements : un socle Xen est installé via PXE, qui installe des images applicatives, elles même bootable via PXE pour installer une JVM en local ou sur une baie SAN, avec 1 vlan par ferme.
validation technique de la plateforme : 3 jours

– Notes

Les virtual machines doivent être réparties selon la criticité, de façon à rendre le service le plus redondant possible vis à vis des autres blades
chaque lame est doté de 8 Go de RAM : 512 Mo réservé pour le dom0 , 2 Go par JVM (serveurs JoNAS)

– Les slides de la conférence

Retour d'expérience pour le développement par Romain Couderc / Cap Gemini

– Utilisation

sert de montage de plateforme pour des études de faisabilité (Proof Of Concept)
Maquettage et avant-vente
Reprise d'activité
assurer une démarche qualité

– Réalisations concrètes :

Dans le cadre de l'OSS Partner, une plateforme sert à la hotline sur 2000 serveurs physiques qui ont été virtualisés : reproduction d'anomalies
Provisionnement : déploiement d'images LAMP pour des stations de travail sur différents profils (développeurs/administrateurs/...), et pouvoir faire de la veille technologique
Etude : bench i/o par exemple, choix techno de filesystem : GFS ou OCFS , montage d'IDS

Annexes

– Mes liens sur Del.Icio.Us
– La suite, Solutions Linux, vu de l'intérieur

Updated on 2018/03/19 : Jeff Grant pointed me a broken link on mon and send us a blog post with some usefull stuff : http://compari.tech/system-monitoring

You will find some other tools on the really good nixracft blog : https://www.cyberciti.biz/faq/page/...

[1]

Voir les ressources disponibles sous Oracle

Olivier Duquesne aka DaffyDuke — 2006-01-17T12:50:30Z

hosts : SID=ORA_SID> sqlplus user/password SQL> set line 132 SQL> select * from v$resource_limit ; SQL> show sga SQL> select * from v$sag

- Au boulot / oracle

Exporter facilement une table Oracle vers un tableur OpenOffice/Excell

Olivier Duquesne aka DaffyDuke — 2006-01-17T12:48:59Z

set show off ttitle off set heading off set pagesize 999 set linesize 250 set pause off time on verify off feedback off trims on spool /tmp/tmfile.cvs select UTI_ID||';'||PRO_ID||';'||LNG_ID||';'||UTI_CIVILITE||';'||UTI_NOM_MEDIA||';'||UTI_FONCTION||';'||UTI_NOM||';'||UTI_PRENOM||';'||UTI_EMAIL||';'||UTI_CARTE_PRESSE_NUM||';'||UTI_NUMRUE||';'||UTI_ADRESSE1||';'||UTI_ADRESSE2||';'||UTI_CODEPOSTAL||';'||UTI_VILLE||';'||UTI_TELEPHONE||';'||UTI_LOGIN||';'||UTI_PAYS||';'||UTI_IPN||';'||UTI_NEWSLETTER||';'||UTI_PASSWORD||';'||UTI_ACCREDITE||';'||TME_ID||';' from TD_UTILISATEUR where UTI_ACCREDITE='N'; spool off; quit