One more geek - Mot-clé - debian

PyDeb from PyPI to .deb

Rodolphe Quiédeville — Wed, 06 Feb 2013 13:01:00 +0100

Dans mon précédent billet j'évoquais les paquets debian que j'avais réalisé pour Django au sein du projet Pyrede. Cette activité de packaging ayant pris de l'ampleur les paquets seront désormais disponibles au sein du Projet Pydeb.

Le projet PyDEB se compose d'un dépôt de paquets et d'un blog sur lequel je publie les nouveaux paquets ainsi que leurs mises à jour.

Les derniers paquets réalisés sont redis, hamlpy, vectorformats, ...

Le projet Pyrede d'analyse de fichier requirements.txt continue son activité avec PyDEB comme ressource bien évidemment.

Paquets Debian pour Django

Rodolphe Quiédeville — Tue, 29 Jan 2013 13:23:00 +0100

Si j'aime les virtualenv quand je code je reste attachés aux paquets pour le déploiement et j'essaye tant que faire se peut de résister aux 'pip install -r requirements.txt' sur mes machines de production. C'est dans ce contexte que j'ai packagé quelques paquets relatifs à Django que je vais essayer de maintenir au sein du projet Pyrede.

http://pyrede.quiedeville.org/debian/

Le fichier repo.key contient la signature utilisée pour signer les paquets.

De whoosh à Solr avec Django Haystack

Rodolphe Quiédeville — Thu, 20 Dec 2012 12:43:00 +0100

Sur un déploiement Django avec une indexation réalisée avec Haystack je me suis retrouvé face à un problème bloquant. L'application doit permettre à différents users unix de la machine d'insérer des données au moyen d'une commande de management de Django ; les objets insérés dans la base de données sont indéxés en temps réels avec un RealTimeSearchIndex. Le peu de volume de données avait orienté le choix du backend d'indexation vers whoosh, whoosh travaillant avec des fichiers locaux l'appel de la commande manage par différents users unix a engendré des problèmes de permissions sur les fichiers d'index. Une première solution de contournement a été d'utiliser la commande sudo mais cela n'est pas satisfaisant sur le long terme sans une formation des utilisateurs à sudo, pour contourner ce problème je me suis orienté vers l'utilisation d'un backend Solr. Je vais décrire ici la mise en oeuvre de cette solution sur une Debian Wheezy car cela ne s'est pas fait sans problèmes.

Installation de Solr

Le choix fait a été d'utiliser Solr avec le server d'application Jetty, l'installation sous Debian est toujours aussi simple qu'apt-get dans notre cas de figure ici il est nécessaire d'installer les paquets

jetty
solr-jetty

Le serveur d'indexation étant sur une machine séparée de l'instance Django il faut également installer le package python-pysolr sur le serveur qui fait tourner l'application Django elle même.

Il existe un bug dans le paquet solr-jetty, l'installation créé un lien symbolique cassé.

/var/lib/jetty/webapps/solr doit pointer vers /usr/share/solr/web et non vers /usr/share/solr/webapp comme le fait l'installation du package

Schema généré non conforme

Une fois le serveur installé il faut configurer Solr en conformité avec les données de l'application Django, pour cela on génère un fichier nommé schema.xml avec la commande :

manage.py build_solr_schema > schema.xml

Une fois ce fichier généré copiez le sur le serveur Solr dans /etc/solr/conf/schema.xml

J'utilise une version 2.0.0 de Haystack et il est nécessaire de modifier quelque peu le fichier généré pour le rendre compatible avec Solr 3.6.0 présent à l'heure d'écriture de ce billet dans Wheezy.

Tout d'abord il faut remplacer la chaine stopwords_en.txt par lang/stopwords_en.txt pour spécifier le bon chemin vers le fichier. (ref)

Un autre problème rencontré qui peut ne pas être votre cas,mais autant le signaler au cas où, lors du premier appel de la commande ./manage.py build_solr_schema le fichier schema.xml généré contenait des définitions de champs erronés :

<field name="" type="" indexed="True" stored="True" multiValued="" />

<field name="" type="" indexed="True" stored="True" multiValued="" />

Un nouvel appel à build_solr_schema a cette fois généré un fichier valide, une fois copié sur le serveur solr l'indexation fonctionne, et on peut désormais mettre à jour l'index avec manage.py rebuild_index de même que celui-ci se met à jour lors de l'import des objets dans la base.

Suivant votre configuration réseau vous pourrez vouloir changer le port ou l'interface d'écoute, cela s'effectue dans le fichier /etc/default/jetty ; il ne reste plus enfin qu'à redémarrer jetty.

Ce ne fût pas sans peine, mais au final l'indexation fonctionne et désormais tous les utilisateurs peuvent indexer leurs documents sans problèmes de permissions.

Penser à xauth

Rodolphe Quiédeville — Fri, 30 Nov 2012 12:38:00 +0100

Devant installer un outil dont je tairais la nom sur un serveur, outil qui ne se configure qu'avec un client X (ça commence mal) j'ai bloqué sur le X forwarding pendant une demi-journée. Après avoir fait un connexion ssh -X vers le dit serveur impossible de récupérer l'affichage sur ma machine. Un ssh -v m'a mis la puce à l'oreille avec comme dernière ligne :

debug1: Remote: No xauth program; cannot forward with spoofing.

Sans xauth effectivement difficile de reporter l'affichage au travers de la session ssh, la solution simpliste au possible consiste à installer le paquet xauth sur Debian.

apt-get install xauth

Espérons que la prochaine fois j'y penserai plus tôt.

Monitorer les mises à jour de sécurité Debian

Rodolphe Quiédeville — Wed, 31 Oct 2012 12:02:00 +0100

Jusqu'à peu j'utilisais des scripts maison pour suivre les mises à jour de sécurité à faire sur les serveurs Debian que j'administre, scripts shell qui à grand coup de sed, grep, gawk sur les sorties de apt-get update / upgrade permet de connaître les mises à jour à faire. Une fois de plus Debian à des outils internes pour faire cela beaucoup mieux. Utilisant aussi Debian sur mon desktop je me suis penché sur la méthode mise en oeuvre qui permet à mon gestionnaire de bureau de signaler dans une popup les màj à faire après chaque action apt, je suis tombé sur le paquet update-notifier-common qui contient tout ce qu'il faut pour refactoriser mes sondes Nagios.

La commande apt-chek (qui est un script python) permet de savoir tout de go si il existe des mises à jour à faire :

rodo@arz: $ /usr/lib/update-notifier/apt-check
110;57

donne une sortie facilement scriptable qui indique ici qu'il y a 110 mises à jour disponibles dont 57 mises à jour de sécurité (tests effectués sur mon desktop, n'ayez craintes)

rodo@arz: $ /usr/lib/update-notifier/apt-check --human-readable
110 packages can be updated.
57 updates are security updates.

donne une sortie plus compatible avec le genre humain.

Enfin l'option -p elle va afficher la liste des noms de paquets à mettre à jour. Pour parfaire le script on souhaiterait avoir une option qui permette de n'afficher que les noms de paquets issus de security à mettre à jour, gageons que cela soit dans une future release.

Il ne reste plus qu'à utiliser cette commande dans une sonde nagios telle que celle décrite dans ce billet

Pour conclure il me reste à dire que apt-check se base sur la librairire python apt_pkg disponible dans python-apt que je vous invite à découvrir si vous souhaitez manipuler les commandes apt à partir de python.

MàJ : après ma réflexion sur une option supplémentaire j'ai envoyé un patch au mainteneur du paquet

Nagios et les MIBS perdues dans Debian

Rodolphe Quiédeville — Mon, 29 Oct 2012 14:42:00 +0100

Il faut désormais activer non-free dans Debian pour pouvoir utiliser les MIBS snmp ( voir http://wiki.debian.org/SNMP), action qui n'est pas réalisable dans de nombreuses architectures. Sans les MIBS utiliser SNMP devient vite une gageure, devoir déclarer les commandes Nagios en se basant sur les OID des directives extend est fastidieux et difficilement maintenable dans le temps. Afin de simplifier cette utilisation j'ai écrit un script pour simplifier la déclaration dans Nagios en se passant des MIBS.

mibchecks génère les définitions Nagios en analysant le fichier de configuration du démon snmp, il est disponible sur gitorious pour download et/ou fork.

Repo : https://gitorious.org/mibchecks/mibchecks

mibchecks lit le fichier /etc/snmp/snmpd.conf, en extrait les définitions extend, convertit les noms de commandes en OID et écrit sur la sortie standard les définitions de command à inclure dans la configuration de nagios. Un exemple de sortie.

Le script est actuellement en version 1.0.2 et attend vos patch et/ou amélioration.

Backport python-dbf pour squeeze

Rodolphe Quiédeville — Wed, 13 Jun 2012 08:59:00 +0200

Il existe peu de librairie pour manipuler le format DBase dans le monde du libre. Peu utilisé pour les usages standards des base de données, au regard d'outil comme Postgresql ou Sqlite, le format DBase reste néanmoins incontournable dans l'univers du SIG. Utilisé comme format de stockage des données attributaires pour les fichiers Shapefile il est encore manipulé tous les jours par les géomaticiens. Il existe néanmoins une librairie python nommée python-dbf mais uniquement dans Wheezy, j'ai retroporté celle-ci vers squeeze.

python-dbf 0.88.16-1~bpo60+1

python-dbf-doc 0.88.16-1~bpo60+1

Adresse du dépôt : dépôt personnel.

python-pyshp pour debian/squeeze

Rodolphe Quiédeville — Wed, 06 Jun 2012 22:24:00 +0200

pyshp est une librairie python qui permet de lire et écrire le format de fichier shapefile. Format initialement développé par la société ESRI il est devenu un standard et surtout un format ouvert.

python-pyshp 1.1.4-1~bpo60+1

python3-pyshp 1.1.4-1~bpo60+1

Adresse du dépôt : dépôt personnel.

Backport postgis 1.5.3 pour squeeze

Rodolphe Quiédeville — Fri, 01 Jun 2012 13:02:00 +0200

Bien que postgresql-9.1 existe déjà dans les backports officiels de debian (url) l'extension postgis pour cette version n'y est pas présente. Voulant passer à postgresql 9.1 dans ma chaîne de rendu OpenstreetMpa j'ai réalisé la backport du paquet postgresql-9.1-postgis que j'ai mis à disposition dans mon dépôt personnel.

postgis 1.5.3-2~bpo60+1

postgresql-9.1-postgis 1.5.3-2~bpo60+1

2 backports squeeze pour les fans du nosql

Rodolphe Quiédeville — Fri, 16 Mar 2012 16:29:00 +0100

Les deux derniers backports pour squeeze arrivés dans mon dépôt personnel sont destinés aux amateurs de NoSQL ; le serveur CouchDB et une librairie perl d'accès à mongoDB.

couchdb 1.1.1
libmongodb-perl 0.45

Déployer Geoserver 2.1.2 avec Tomcat7 sur Debian Squeeze

Rodolphe Quiédeville — Thu, 15 Dec 2011 13:29:00 +0100

Le but de ce mini tutoriel est de mettre en oeuvre la dernière version stable de GeoServer sur une Debian/Squeeze avec Tomcat7. C'est aussi une façon pour moi de conserver la méthode, car n'étant pas de culture javaiste c'est toujours difficile de se replonger dans la logique Tomcat et ses multiples emplacements de fichiers de conf.

Tomcat7 n'étant pas disponible dans Squeeze (il l'est dans wheezy) nous allons utiliser un backport disponible sur mon dépôt non-officiel, voir ce billet pour la mise en oeuvre du dépôt. Une fois le dépôt configuré et apt-get udpate effectué comme il se doit on va installer les 2 paquets suivants ; tomcat7 pour la base et tomcat7-admin pour disposer de la webapp manager bien pratique.

apt-get install tomcat7 tomcat7-admin

Après l'installation des paquets le serveur se lance automatiquement et vous devez obtenir le classique It works ! à l'adresse http://127.0.0.1:8080/

Pour le déploiement de GeoServer nous allons utiliser le manager interne de Tomcat, il est nécessaire pour cela de définir un utilisateur avec les bonnes permissions en éditant le fichier /etc/tomcat7/tomcat-users.xml. Nous allons y ajouter un utilisateur foobar avec le mot de passe barfoo, cela va consister à ajouter les 2 lignes suivantes :

<role rolename="manager-gui"/>
<user username="foobar" password="barfoo" roles="manager-gui"/>

Le fichier contient des exemples qui aident à suivre la bonne syntaxe, ce qui est important ici est le rôle manager-gui.

La configuration par défaut de tomcat limite la taille des fichiers web archive à 50Mo, hors la taille du .war de geoserver dépasse cette limite, il faut par conséquent l'augmenter. Il faut pour cela éditer le fichier /usr/share/tomcat7-admin/manager/WEB-INF/web.xml. Recherchez les balise <max-file-size> et <max-request-size>, puis remplacez leur valeur par 78643200 soit 75MB de limite au lieu des 50MB par défaut.

La dernière version de GeoServer stable est la 2.1.2 qui est disponible en ligne à l'adresse http://geoserver.org/display/GEOS/Stable, il convient de télécharger la version Web archive. Vous obtiendrez un fichier geoserver-2.1.2-war.zip qu'il conviendra de décompresser.

Maintenant que nous avons installé et configuré Tomcat, téléchargé le .war de GeoServerger, nous pouvons ouvrir le manager à l'adresse http://127.0.0.1:8080/manager/html et y rechercher le formulaire Déployer comme le montre l'image suivante.

Indiquez l'emplacement du fichier .war dans le champs nommé Choisir le fichier WAR à téléverser et cliquez sur Déployer, si tout se passe bien ça y est GeoServer est installé.

Il reste à tester l'url http://127.0.0.1:8080/geoserver/web/ et hop Geoserver 2.1.2 sous Tomcat7.

De base GeoServer contient un ensemble de données de test, regardez le lien à gauche Prévisualisation de la couche et appréciez la richesse de l'outil.

Pour se connecter en tant qu'admin sur GeoServer utilisez les login/pass par défaut admin/geoserver, ceux-ci sont définis dans le fichier /var/lib/tomcat7/webapps/geoserver/data/security/users.properties.

Il est à noter que cette méthode bien que valable dans le principe pour Tomcat6 certain emplacement de fichiers sont différents dans la pratique.

Backport Tomcat 6 et 7 pour squeeze

Rodolphe Quiédeville — Thu, 15 Dec 2011 10:02:00 +0100

J'ai mis en ligne hier soir les backports pour squeeze des versions de Tomcat suivante :

tomcat7 7.0.23
tomcat6 6.0.33

Disponible sur mon dépôt personnel.

Je testerai prochainement la dernière version de Geoserver sur Tomcat7.

Bilan des backports pour Openstreetmap

Rodolphe Quiédeville — Tue, 06 Dec 2011 11:08:00 +0100

L'avantage indéniable de Debian sur d'autres distributions est à mes yeux sa stabilité exemplaire, cela entraine malheureusement d'avoir régulièrement des versions un peu obsolète des logiciels empaquetés. Il est possible de contourner cela en créant des backports de la version de développement de Debian (Wheezy) vers la version stable (Squeeze). J'ai réalisé les backports des principaux outils utilisés dans l'univers OpenStreetMap, ceux-ci sont diponibles sur mon dépôt privé (voir ce billet pour la mise en place du dépôt sur votre machine.

A ce jour les outils ci-dessous sont disponibles dans ces versions :

dans-gdal-scripts 0.18
gdal 1.7.3
mapnik 2.0.0
osm2pgsql 0.70.5
openlayers 2.11
gpsprune 13.1
viking 1.2.1

Les paquets n'ont pas été poussés dans le dépôt des backports officiels car ils représentent une utilisation trop faible au vu de la communauté Debian, un paquet comme osm2pgql est utlilisé à ce jour par moins de 300 personnes d'après popcon quand les outils apache2 le sont par plus de 60000 (popcon apache2-utils).

Backport gdal 1.7.3 et libdap 3.11.1 pour squeeze

Rodolphe Quiédeville — Thu, 01 Dec 2011 21:48:00 +0100

Derniers backports pour squeeze de la journée, la version 1.7.3 de gdal et la version 3.11.1 de libdap. Ces paquets sont disponibles sur mon dépôt personnel http://rodolphe.quiedeville.org/debian/.

Adresse du dépôt

deb http://rodolphe.quiedeville.org/debian/ squeeze-backports main

Cette version inclut gdaldem pour la manipulation des fichiers de modélisation de terrain dans le paquet gdal-bin.

Section squeeze backports ouverte avec mapnik2

Rodolphe Quiédeville — Wed, 30 Nov 2011 00:37:00 +0100

Les backports de mapnik2 publiés hier sous forme de .deb sont désormais disponibles dans mon dépôt personnel, pour les utiliser depuis cette source il vous suffit d'ajouter cette ligne dans votre sources.list apt :

deb http://rodolphe.quiedeville.org/debian/ squeeze-backports main

Pour supprimer l'avertissement de sécurité sur les paquets non officiels, vous pouvez récupérer ma clef GPG et l'ajouter au trousseau d'apt avec les commandes suivantes.

gpg --keyserver hkp://pgp.mit.edu --recv-keys 72F1F20D
gpg --export 72F1F20D | apt-key add -

Installer mapnik2 sur Debian Squeeze

Rodolphe Quiédeville — Tue, 29 Nov 2011 20:35:00 +0100

La version de mapnik disponible dans squeeze est actuellement la 0.7.1 alors que la version 2.0 de Mapnik est déjà disponible pour Wheezy, j'ai backporté les paquets nécessaires pour faire du rendu avec mpanik2 pour la version squeeze de debian. Les .deb sont disponibles au téléchargement sur http://osm.fsffrance.org/debian-backports/

Un README détaille les étapes et les dépendances pour installer Mapnik2 sur votre Debian Squeeze.

Paquet debian pour pgtune

Rodolphe Quiédeville — Sun, 15 Nov 2009 18:46:00 +0100

Le paquet debian pour pgtune est finit et uploadé sur les serveurs FTP. Vous pouvez suivre son évolution au travers du bug report ITP #553975. La file d'inclusion de nouveaux paquets est assez chargée ces temps-ci, cela va peut-être prendre plusieurs jours pour voir le paquet apparaître dans SID. Je laisse le paquet disponible dans mentors le temps de son inclusion.

pgpool-II 2.2.5 dans Debian

Rodolphe Quiédeville — Thu, 29 Oct 2009 09:57:00 +0100

La dernière version de pgpool-II, la 2.2.5 vient d'être intégrée dans debian experimental, vous pouvez suivre son évolution au travers de la page du package tracking system dédiée.

Intégrer memcached et mysql

Rodolphe Quiédeville — Fri, 23 Oct 2009 23:35:00 +0200

Je vais décrire ici une technique pour mettre en cache mémoire, à l'aide de memcached les données d'une base mysql sans modifier le code applicatif. La technique consiste à utiliser mysql-proxy et la librairie lua mysql-proxy-cache. Cette description se base sur une Debian Lenny.

On débute par l'installation de memcached

aptitude install memcached

Ensuite nous allons installer les paquets nécessaire pour satisfaire les dépendances de la librairie.

aptitude install lua5.1 liblua5.1-md5-0 liblua5.1-socket2 luarocks

La librairie luamemcached n'est pas actuellement dans les repository officiel mais il existe néanmoins un paquet debian.

wget http://luaforge.net/frs/download.php/4041/liblua5.1-memcached0.deb
dpkg -i liblua5.1-memcached0.deb

Pour la librairie mysql-proxy-cache qui nous intéresse ici nous pouvons la récupérer par git ou directement à l'adresse http://github.com/clofresh/mysql-proxy-cache/raw/master/mysql-proxy-cache.lua.

A partir de ce point nous considérons que le fichier lua a été sauvegardé dans /usr/share/mysql-proxy/mysql-proxy-cache.lua

Modifions maintenant le fichier de configuration de mysql-proxy pour que celui-ci se lance au démarrage et qu'il intègre la nouvelle librairie, la configuration se fait dans /etc/default/mysql-proxy.

ENABLED="true"
OPTIONS="--proxy-lua-script=/usr/share/mysql-proxy/mysql-proxy-cache.lua"

Il reste à démarrer mysql-proxy avec le script d'init standard

/etc/init.d/mysql-proxy start

C'est désormais opérationnel, par défaut les résultats seront cachés pour une durée de 30 secondes. Le cache n'est pas dynamique dans le sens ou une donnée écrite ne sera pas rendue immédiatement, mais seulement au bout de 30 secondes, prenez garde donc si vous augmentez cette valeur.

Pour vérifier que memcached est bien actif, vous pouvez vous connecter en telnet sur son port d'écoute (11211) et taper la commande stats, vous obtiendrez quelque chose comme :

stats
STAT pid 2539
STAT uptime 21318
STAT time 1256336412
STAT version 1.2.2
STAT pointer_size 32
STAT rusage_user 0.040002
STAT rusage_system 0.120007
STAT curr_items 3
STAT total_items 15
STAT bytes 50447
STAT curr_connections 2
STAT total_connections 651
STAT connection_structures 17
STAT cmd_get 1450
STAT cmd_set 15
STAT get_hits 1435
STAT get_misses 15
STAT evictions 0
STAT bytes_read 151263
STAT bytes_written 45156032
STAT limit_maxbytes 67108864
STAT threads 1

Happy hacking !

Backport lenny de prefix pour PostgreSQL

Rodolphe Quiédeville — Tue, 20 Oct 2009 09:38:00 +0200

Le backport du jour, la librairie prefix de Dimitri Fontaine permet un accés plus rapide aux données utilisant la notion de préfixe, typiquement dans la téléphonie ou le préfixe du numéro composé est primordial pour la tarification.

Accès direct au binaire pour i386.