shots.sh0000644000175000017500000000250511160424516012704 0ustar benjaminbenjamin#!/bin/sh # aptitude install vncserver vncsnapshot iceweasel # aptitude install xfonts-base xfonts-base-transcoded ttf-freefont xfonts-100dpi xfonts-75dpi xfonts-scalable ttf-sjfonts msttcorefonts gsfonts gsfonts-x11 # aptitude intsall imagemagick wget wput # /etc/vnc.conf : # $depth="16"; # $geometry="1024x768"; # set -e while true do LINE=`wget http://www.laquadrature.net/rp/shots_needed.php --http-user monlogin --http-passwd monmotdepasse -O - -q` URL=`echo "$LINE"|sed -e's/^[^ ]* \(.*\)$/\1/'` LID=`echo "$LINE"|sed -e's/^\([^ ]*\) .*$/\1/'` if [ "$LID" ] then echo "link $LID has url $URL, capturing ..." export DISPLAY=:1 firefox "$URL" & FFPID=$! sleep 65 vncsnapshot -passwd ~/.vnc/passwd -rect 997x602+6+112 localhost:1 /tmp/capture.jpg kill -15 "$FFPID" sleep 3 rm -f ~/.mozilla/firefox/d9no4um1.b2/.parentlock ~/.mozilla/firefox/d9no4um1.b2/sessionstore.js ~/.mozilla/firefox/d9no4um1.b2/lock sleep 3 convert /tmp/capture.jpg -quality 80% /tmp/capture_small.jpg wput /tmp/capture_small.jpg ftp://ftplogin:ftppassword@pi.serverside.fr/${LID}.jpg sleep 5 wget "http://www.laquadrature.net/rp/shots_done.php?lid=${LID}" --http-user monlogin --http-passwd monmotdepasse -q -O - else sleep 60 fi done shots.txt0000644000175000017500000001556111160424272013116 0ustar benjaminbenjamin Dans le cadre de notre hébergement dédié administré, nous sommes parfois amené à développer de petits outils pour nos clients ... L'un des derniers outils que nous avons mis au point est un script de capture de l'image d'une page web. Nous avons tout d'abord cherché des solutions hébergées, mais devant le volume requis, nous avons ensuite cherché un logiciel libre capable de faire cela. Faute d'avoir trouvé un outil libre satisfaisant, nous avons fini par mettre au point notre propre solution, et ca n'est, ma fois, pas si compliqué ... Octopuce ayant pris l'habitude de libérer ses outils chaque fois que cela est possible, voici donc notre outil de capture d'image de site, et quelques explications sur son fonctionnement. {{{ Fonctionnement du script Shots }}} Ce script est distribué sous licence GPL v3, ainsi que ses explications. Voici les instructions d'installation et de configuration : * installer Mozilla Firefox (ou Iceweasel pour Debian...) VNCServer, VNCSnapshot, et les polices X11 sur votre serveur (oui, c'est inhabituel ...) * installer si besoin les polices de caractères spéciales souhaitées (kanji, farsi etc.) ainsi que les plugins pour firefox souhaités (flash, java, acroread...) * Eventuellement (je vous le conseille) installer le plugin Firefox AdBlock, qui permet de bloquer la plupart des publicités, et rends, finalement, les sites plus beaux, puisque seul leur contenu efficace reste affiché (...) * Configurer VNCServer et le lancer * Modifier le script shots.sh pour correspondre à vos besoins (voir dans la suite de ce billet) Sous Debian, on obtient les logiciels requis en installant les packages : aptitude install vncserver vncsnapshot iceweasel aptitude install xfonts-base xfonts-base-transcoded ttf-freefont xfonts-100dpi xfonts-75dpi xfonts-scalable ttf-sjfonts msttcorefonts gsfonts gsfonts-x11 aptitude install imagemagick wget wput (Les paquets imagemagick, wget et wput sont utilisés dans notre version de shots.sh, mais vous pouvez peut-être vous en passer) Ensuite, il faut préparer le terrain : Configuration de VNCServer : Modifiez le fichier /etc/vnc.conf pour mettre une géometrie d'écran et une profondeur de couleur intéressante : Typiquement : $depth="16"; $geometry="1024x768"; Lancez VNCServer (il vous demande un mot de passe la première fois, qui sera le mot de passe permettant de se connecter à l'écran virtuel. Une fois VNCServer lancé, il vous donne l'écran utilisé, normalement le 1 (en notation X11 c'est ":1") Vous pouvez donc vous connecter à X11 en utilisant un client VNC (sous linux il y a xvnc4viewer, sous windows ultravnc, bref, chaque système d'exploitation à sa version de VNC, y compris mac, sparc...). Connectez-vous à l'écran sur l'IP de votre serveur (typiquement monserveur:1) et entrez le mot de passe Vous êtes alors sur l'écran virtuel. Lancez-y firefox une première fois, configurez si besoin votre adblock, les plugins flash et java, vérifiez que les polices passent bien, passez firefox en plein écran, et fermez-le. A partir de là, votre configuration serveur est prête, il ne vous reste plus qu'à personnaliser shots.sh {{{Personnalisation de shots.sh}}} Le script shots.sh est chargé d'effectuer les captures et de les envoyer au bon endroit. Il utilise firefox et vncsnapshot pour effectuer la capture. Les seules lignes vraiment efficace du script proposé sont : # soit $URL l'url à capturer. On choisit l'écran VNC (:1) export DISPLAY=:1 # On lance firefox (en arrière-plan d'où le &) en lui demandant d'aller voir l'url : firefox "$URL" & # On stocke dans FFPID le numéro de processus de firefox FFPID=$! # On attend 1 minute, cela laisse le temps à Firefox de charger l'url sleep 60 # On effectue le snapshot, pour cela, on précise bien le mot de passe, l'écran, et le rectangle à capturer vncsnapshot -passwd ~/.vnc/passwd -rect 997x602+6+112 localhost:1 /tmp/capture.jpg # On termine firefox kill -15 "$FFPID" # On attend (laissons-lui le temps de se terminer...) sleep 3 # On efface les fichiers de lock de Firefox, qui auraient pour effet de déclencher un popup d'alerte au prochain lancement de Firefox. rm -f ~/.mozilla/firefox/d9no4um1.b2/.parentlock ~/.mozilla/firefox/d9no4um1.b2/sessionstore.js ~/.mozilla/firefox/d9no4um1.b2/lock # On attend encore un peu avant de se lancer dans la prochaine capture. sleep 3 Que faut-il adapter à ce script ? : * l'url doit être obtenue d'une façon ou d'une autre (dans l'exemple du zip joint, on la récupère via un script php utilisé avec wget, qui nous retourne une URL et son NUMERO D'ID en base.) * le rectangle de capture (-rect 997x602+6+112 ce qui correspond à 'largeur' x 'hauteur' + 'décalage x' + 'décalage y') doit être adapté à votre firefox et à son écran virtuel * le nom du profile firefox dans le dossier utilisateur peut varier (dans notre cas c'est d9no4um1.b2). Remplacez-le par votre dossier à vous, généralement situé dans ~/.mozilla/firefox/ * le fichier jpeg est stocké sous /tmp/capture.jpg dans cet exemple, à vous de stocker l'image ailleurs si besoin. Dans l'exemple fourni (shots.sh) l'url est obtenue en appelant un script php (avec wget), et le fichier est uploadé via FTP sur un serveur (avec wput). Ainsi, on peut faire tourner shots.sh sur une machine simplement reliée à Internet, même pas forcément un serveur en datacenter ... Enfin, la capture est réalisée en jpeg haute qualité, et sera souvent trop grande pour votre usage souhaité. Vous pouvez alors installer Imagemagick (aptitude install imagemagick) pour, à l'aide de l'outil {{convert}}, pouvoir générer une version plus petite de l'image jpeg, à la qualité souhaitée. {{{ Conclusions }}} Il est donc entendu qu'un tel système est fort pratique, mais il faut prendre note de ses prérequis : * Il faut un geek sous la main pour l'installer et le déployer * Il faut adapter le script à sa situation * Il faut un serveur dédié (pas forcément dédié à cette tâche hein ... mais cela n'est pas vraiment envisageable sur une machine mutualisée...), ou à minima une station linux. * Les captures ne marcheront pas dans certains cas particuliers (sites avec authentification, sites en SSL avec un certificat non reconnu par une autorité de confiance, pages web dans des formats exotiques (pdf, popups etc.)) Dans tous les cas, si vous avez modifié ce script d'une manière que vous jugez intéressante, n'hésitez pas à nous le signaler, nous en parlerons ici avec joie. Enfin, si vous avez besoin de déployer ce script dans votre environnement, mais que vous n'avez pas le bon geek sous la main, appelez-nous, c'est notre métier que de déployer et mettre au point ces outils originaux ... {{{ Téléchargement }}} L'ensemble de ces explications ainsi que le script shots.sh d'origine sont distribués sous licence GPL v3 dans le zip ci-dessous. Enjoy !