Récupérer ses photos de plateformes non libres, GAFAM, mapillary et kartaview
Demandez vos archives
le RGPD impose aux géants du ouaib et aux autres de permettre la ciculation des données aussi bien que de l’épice, vous avez donc des trucs qui vous permettent de demander vos données photos. Il faut juste fouiler dans votre compte utilisateur et ne jamais partir du principe qu’un hébergement en ligne est synonyme d’éternité ou de fiabilité absolue. Faites des sauvegardes automatiques, ça vous évitera bien des ennuis et il est inéluctable que les supports de stockage et les hébergeurs meurent un jour.
Récupérer ses photos de Kartaview
Quand Facebook a acheté Mapillary, on a vu venir le merdier et de bonnes volontés se sont empressées de faire des outils en ligne de commande ou en page web pour exporter nos captures plus ou moins facilement. Certains se sont dit qu’il serait mieux de migrer leurs photos vers OpenStreetCam, qui s’est fait racheter par une compagnie de taxis chinoise, Grab, qui a rebaptisé le produit Kartaview. OpenStreetCam n’a jamais eu une appli très utilisable, Kartaview a amélioré cela mais l’export massif de photos n’a jamais été une priorité pour la boite, il n’y a pas d’API pour cela aux dernières nouvelles en 2023. Cependant, si on leur demande par email ils veulent bien que l’on accède au stockage (avec un délai de réponse d’environ 10 jours).
Si vous voulez voici ce que je leur ai demandé à geo.kartaview@grabtaxi.com:
Hello, i would like an archive containing all my pictures in hi resolution, can you send me this please?
Here is proof i am the owner of my account: [votre pseudo] Level [x] Total points [x] Points to next level [x] Tracks: [x] Distance: [x] km Distance with OBD: [x] km
have a good day.
– [votre pseudo]
Au bout d’une semaine ils m’ont donné des instructions pour accéder au stockage de mes captures, qu’ils hébergent chez Microsoft. Puisque les informations de géolocalisation sont séparées des photos, j’ai du faire un script pour les rabouter ensemble. Voici de quoi faire de même si vous le souhaitez: https://forge.chapril.org/tykayn/scripts/src/branch/master/kartaview_exif_mapper
Récupérer ses photos de Mapillary
Y’a là aussi pas de moyen d’exporter vos photos juste en téléchargeant un zip depuis votre espace utilisateur, ce serait trop simple et trop conforme au RGPD ou à la précédente loi informatique et libertés.
Je leur ai aussi demandé par écrit, par mail, mais là seul le mistral m’a répondu et on dirait bien que la CNIL n’en a cure.
Ce script fonctionne pour télécharger vos séquences mais aussi celles d’autres personnes, veillez simplement à avoir un accord écrit des autres gens si vous souhaitez le faire.
Les alternatives existent, beaucoup de choses stratégiques sont perdues du fait d’un manque cruel de souveraineté nationale des outils et des données. Les alternatives existent et ne sont pas plus compliquées à utiliser que les plus connues.
Go go go! Envoyez sur Panoramax avec votre compte OpenStreetMap, des tas de trésors photos dorment dans les placard de la NSA, faites en profiter le grand public au lieu de n’alimenter que des trolls, surtout si vous êtes partie prenante dans un service public.
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Il faut fouiller dans les paramètres d’open camera (disponible sur f-droid) pour régler les config, c’est l’icône roue dentée en haut à droite:
– Activer le GPS du smartphone. Et enregistrer les infos GPS dans les photos: Paramètres > Paramètres de géocodage >✅ Stocker les données de position + ✅stocker la direction de la boussole.
– Plus de paramètres > préfixe du nom de photo « IMG_OC_ » afin de retrouver facilement ses photos de séquence de capture parmi ses photos perso, à prendre avec une autre appli de photo. C’est optionnel.
L’icône trois points verticaux (buger menu) à côté de la roue dentée vous permet d’accéder à des raccourcis de config:
– Faire la mise au point à l’infini, première ligne d’icones, symbole infini ∞.
– Désactiver le flash si présent.
– Mettre le mode rafale, et régler en rafale infinie. Icone []]] ou sélecteur Mode rafale: illimité. – Mettre un délai de retard de prise de vue pour espacer la rafale de 1 ou quelques secondes. ça dépend si on marche ou si on utilise une ventouse ou un accessoire vélo pour tenir le smartphone. astuce bonus: ajouter un préfixe aux noms des photos pour distinguer nos photos servant de captures pour panoramax des photos prises pour soi.
Vérifiez bien que vous capturez avec une très bonne résolution d’image.
Enfin, pour l’envoi vers Panoramax on peut utiliser le site ouaib, avec votre compte OpenStreetMap, pour balancer vos photos copiées depuis son smartphone. https://panoramax.openstreetmap.fr
L’appli Wifi File transfert peut être d’une grande aide si le transfert par cable USB est capricieux avec votre tel 😉
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Pour ranger mes archives photos selon une organisation par tags dans les noms de fichiers je me suis heurté à une organisation de mes photos qui avait des informations d’évènements situées dans le nom de dossier qui les contenaient. Pour avoir cette information dans le nom de fichier j’avais quelques options: – créer un calendrier à partir de l’arborescence des fichiers et relier ensuite les informations de date d’évènement avec les dates exif de fichier. Pour ça on peut utiliser la commande « tree » qui dessine une arborescence des dossiers. Il suffisait de rediriger la sortie de commande vers un fichier texte pour archiver ces informations dans mon système d’archives. – parcourir les dossiers, prendre l’information du nom du dossier et la placer dans le nom des fichiers. C’est de là qu’est né le petit script python « rename file folder » que j’ai ensuite invoqué derrière un alias à lancer dans mes dossiers d’archive.
Vous pouvez voir la source du fichier python qui permet de renommer les fichiers ici:
ajoutez un alias dans votre fichier ~/.bash_aliases
alias rff="python $WORKFLOW_PATH/files_management/rename_photo_folder.py"
et voilà
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
This is post 5 of 8 in the series “gestion de l'information personnelle”
Décrit la gestion des fichiers et des informations personnelles que j’utilise pour tirer du sens de mes archives et les conserver de façon pérenne et découvrable, uniquement avec des outils respectueux de la vie privée
Imaginez y’a des gens qui s’amusent régulièrement à tenter d’exporter leurs photos, vidéos et documents récupérés depuis leur téléphone pour tenter de s’en servir sur un ordi, ou un autre, et à avoir du mal à retrouver leurs documents quand ils en ont besoin. Qui pestent contre le protocole MTP qui n’est pas capable d’utiliser pleinement la rapidité d’un cable USB. Qui finissent pas utiliser Wifi File Transfer pour copier leurs fichiers du téléphone vers leur ordi, ou qui trouvent ça trop galère et du coup se disent que refiler tout à un bon gros GAFAM est une solution pérenne, haha ! Alors que les GAFAMS n’ont de cesse de tuer les uns après les autres leurs services de surveillance.
Alors qu’il suffit d’avoir sa propre gestion de fichiers syncronisés chez soi en pair à pair, par exemple avec Syncthing, ou un nextcloud chez des CHATONS.
Pour Nextcloud
Il vous faudra:
un compte nextcloud sur un serveur
l’appli client nextcloud sur votre téléphone, connecté à votre compte serveur
avoir l’upload automatique activé depuis votre téléphone, et ce même si vous n’avez pas le wifi connecté (voir dans les paramètres d’upload automatique de l’appli mobile)
avoir le client nextcloud installé sur un ordinateur, connecté à votre compte serveur
Pour Syncthing
Il vous faudra:
faire marcher syncthing sur votre ordi
faire marcher syncthing sur votre ordiphone
configurer les dossiers à faire syncroniser
appairer les deux identifiants de syncronisation
accepter la syncronisation sur les deux appareils, choisir les dossiers concernés
et tadam, vos photos, vidéos et documents seront téléchargés sur votre ordi. Vérifiez dans les paramètres que l’envoi vers le serveur nextcloud se fait même si vous n’êtes pas connecté au wifi.
Une fois l’upload fait automatiquement vous aurez vos médias téléchargés dans votre dossier Nextcloud sur votre ordi, par défaut dans votre dossier de /home/mon_utilisateur/Nextcloud/InstantUpload. Ce dossier de destination est bien sûr modifiable, tout comme votre client Nextcloud vous permet de syncroniser plusieurs dossiers différents, de ne pas forcément tout syncroniser de ce qui se trouve sur votre serveur Nextcloud, et pas forcément dans le dossier /home/mon_utilisateur/Nextcloud. Mais bon, pour garder l’exemple simple on va prendre les paramètres par défaut.
J’ai un dossier pour mes photos et vidéos à ranger, il me suffit de déplacer automatiquement les médias récupérés depuis le dossier InstantUpload vers celui ci, de les renommer automatiquement pour suivre ma convention de nommage avec des tags, et de les déplacer dans le dossier annuel. ça se fait très simplement avec un seul fichier de script bash, qui est exécuté toutes les 5 minutes sur mon ordinateur d’archivage.
Comme le dossier InstantUpload distingue dans des sous dossiers les médias que j’ai capturé par mon téléphone et ceux que j’ai téléchargé, je peux les ranger automatiquement avec un simple couper-coller fait par la commande mv (move). Je pourrai mettre des descriptions et des tags ultérieurement avec mon gestionnaire de photos scriptable Geequie, avec mes raccourcis clavier configurés via ma procédure d’installation de gestion de fichiers.
Le meilleur moyen d’éviter que le bazar soit partout, c’est de le concentrer dans un seul dossier. Donc pour tous les autres trucs que je récupère sur mon téléphone, je peux les envoyer dans mon dossier de bazar.
Ne reste plus qu’a se consacrer un peu de temps à autre, via un rappel d’agenda par exemple ou une revue hebdomadaire (coucou la méthode GTD) à faire disparaître le bazar, soit en truc rangé, soit dans le néant comme le conseille Marie Kondo.
le fichier de crontab:
#Ansible: run nextcloud workflows of tykayn
*/5 * * * * /bin/bash ~/Nextcloud/ressources/workflow_nextcloud/cronjob_nextcloud.sh
# back pictures to ARCHIVE_SYNCABLE
logDate 'copy of Nextcloud InstantUpload photos'
mv ~/Nextcloud/InstantUpload/Camera/* "$PHOTOS_TO_DISPATCH" | tee -a $LOG_FILE_BACKUP 2>&1
mv ~/Nextcloud/inbox/instantUpload/* "$PHOTOS_TO_DISPATCH" | tee -a $LOG_FILE_BACKUP 2>&1
#mv ~/Nextcloud/inbox/instantUpload "$PHOTOS_TO_DISPATCH" | tee -a $LOG_FILE_BACKUP 2>&1
guessfilename "$PHOTOS_TO_DISPATCH/$CURRENT_YEAR*"
cd $PHOTOS_TO_DISPATCH
move2archive --archivepath=$PHOTOS_FOLDER "$CURRENT_YEAR*"
echo ' ' >> $LOG_FILE_BACKUP_DATES
echo "### ${today} medias in $ARCHIVE_SYNCABLE/photos/$CURRENT_YEAR" >> $LOG_FILE_BACKUP_DATES
ls -l "$ARCHIVE_SYNCABLE/photos/$CURRENT_YEAR" | wc -l | tee -a $LOG_FILE_BACKUP 2>&1
Secouez le tout avec une mise en archive chiffrée par borg backup, syncronisez avec des supports distants, et voilà qui est automatiquement rangé.
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
ça faisait un bout de temps que je me demandais si il existait de bons outils pour éviter la duplication de fichiers, qui permettraient de ranger un fichier dans plusieurs dossiers, mais sans que ça soit compliqué ou que ça dépende d’un service tiers.
Avoir une organisation de ses archives et fichiers courants quand on a – comme tout le monde – fait les choses sans méthode définie est une transition qui prend du temps. Tout comme pour sortir des GAFAM quand on baigne dedans, c’est pourtant une bonne chose à faire. Donc installez vous confortablement, ça va prendre du temps.
La méthodologie PARA permet de savoir où ranger les choses quand on en récupère de nouvelles, et où placer celles que l’on a déjà. Distinguer les fichiers que l’on utilise souvent, et ceux qui sont au repos et moins souvent consultés, que l’on qualifiera d’archivable ou de courants.
Définir un vocabulaire contrôlé pour que les tags soient suffisamment généraux et cohérents pour être utiles, et avoir de l’autocomplétion au moment de mettre ou changer les tags sur plusieurs fichiers. Faire des backups automatisés chiffrés et dédupliqués avec borg backup, afin d’éviter de gaspiller de l’espace disque et économiser en budget que je peux ainsi attribuer à des dons publics. Détecter les doublons avec Czkawka. Virer plein PLEIN de documents numériques et physiques. Utiliser un système de fichiers qui permette des gains et de la résilience, tel que le zettabyte-filesystem aka ZFS. Renommer en masse ses fichiers photos, les déplacer automatiquement dans un dossier annuel, taguer ses fichiers avec un logiciel de galerie, ou dans son explorateur de fichiers. Renommer ses fichiers de carto-photo 360 en masse pour suivre leur parcours et les appairer, puis les publier sur plusieurs sites tels que le futur géocommun Panoramax. Utiliser un moteur de recherche libre et local comme DocFetcher pour indexer et fouiller l’intérieur des documents quand on en a besoin.
Disposer d’un système de synchronisation pair à pair pour sauvegarder sur un serveur perso les documents capturés au smartphone, j’utilise Nextcloud et Syncthing.
Archiver automatiquement les documents capturés du smartphone dans nos archives.
Scripter sa façon de faire pour qu’elle soit documentée et portable. Partager le tout sous licence libre AGPLv3+ pour que chacun puisse faire le tout à sa sauce sans réinventer la roue:
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Dans un souci de transparence, voici une liste de gens à qui j’effectue ponctuellement ou régulièrement des dons dans un budget annuel de près de 1500€, soit environ 120€ mensuels pour par exemple financer des briques critiques et valoriser le travail. Les montants varient selon ce que je peux me permettre de donner au fil des différentes catastrophes sanitaires et climatiques qui nous tombent sur la tronche, mais dans l’idée ce budget de dons est représentatif. Ça peut sembler beaucoup pour un individu, ou peu pour une entreprise, mais c’est important pour mener des actions concrètes a peu d’effort. (et j’aimerais bien donner d’avantage, surtout que l’on compare rarement les coûts de ne pas faire quelque chose, comparé au coût de les faire)
Voici donc une petite liste de gens à qui je donne ou ai donné des sous pour supporter leur apport au monde, qu’il soit éthique, scientifique, artistique ou autre. Pour beaucoup j’aurais aimé qu’ils aient leur site web personnel pour ne pas dépendre de boites sans aucune éthique dont le modèle d’entreprise consiste en la pratique destructrice du capitalisme de surveillance. Si vous souhaitez avoir une présence en ligne, faites en sorte d’avoir au maximum la main sur vos propres modes de communication et vos données, plutôt que de tout confier à un GAFAM, essayez les CHATONS.
https://www.franciliens.net Je n’inclus pas le montant de mon abonnement FAI d’une quarantaine d’euros mensuels dans le budget cité au début de l’article. Franciliens.net
Tout soutien financier est bienvenue pour faire marcher les 900€ de location annuels de machines (chez OVH et chez moi) et services qui permettent à notre petite entreprise Cipherbliss.com de mettre à disposition du grand public, nous avons un compte Liberapay que vous pouvez relayer pour nous aider https://liberapay.com/cipherbliss.
Un grand merci au donateurs et donatrices qui permettent d’accompagner la mise en place et le maintien de nos services éthiques cette année encore!
Sur notre instance Mastodon, pensez à vous présenter publiquement pour que tout le monde sache un peu plus qui vous êtes, et que vous êtes une vraie personne et non un robot. Pensez aussi à mettre un avatar sur votre profil!
Je vous encourage également à montrer au monde à qui vous faites des dons, pour faire connaître les enjeux derrière, et montrer aux autres que faire des dons est important, que c’est une façon concrète de contribuer parmi d’autres, même quand on a que cinq ans, et que la donation se pratique plus largement qu’on ne le croit, pas seulement avec des dons du sang.
Bienvenue a la maison sur cipherbliss, enjoy! Et une bonne année 2023 🙂
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
This is post 2 of 8 in the series “gestion de l'information personnelle”
Décrit la gestion des fichiers et des informations personnelles que j’utilise pour tirer du sens de mes archives et les conserver de façon pérenne et découvrable, uniquement avec des outils respectueux de la vie privée
j’avais causé d’un outil nommé GTG, Getting Things Gnome qui s’inspire de la méthodologie « getting things done » pour ne pas oublier ses choses à faire dans un cadre d’utilisation uniquement pour vous (mono utilisateur). Vous pourrez le tester en l’installant avec le gestionnaire de logiciels Flatpak (plus d’infos ci après).
Si vous souhaitez gérer des tâches à plusieurs pour votre asso ou votre boite il faudra s’orienter vers autre chose, comme le Deck de Nextcloud par exemple, qui est un tableau de tickets kanban.
C’est un sujet que je trouve super intéressant tant on peut voir des différences au niveau de chaque personne, et découvrir qu’il existe tout un tas de recherche scientifique (et pseudo scientifique) sur « comment bien gérer ses priorités dans la life ». Pouvoir s’organiser a tellement d’impacts dans la vie courante que ça me parait essentiel de questionner ses habitudes à ce sujet.
Pour savoir ce qui convient le mieux à votre utilisation
il faut définir des critères au système de gestion de tâches que vous voulez utiliser.
Utilisateurs:
serez-vous amené à utiliser votre système tout seul ou a plusieurs?
Captation:
comment noter les choses que vous devez faire ou les idées que vous avez sans être forcément devant un ordinateur?
Continuité:
pouvez vous ne rien rater des choses que vous souhaitez faire à une date précise? Si vous avez raté une échéance, en serez vous avertis ?
Pérennité:
est ce que votre système est assez fiable pour résister à la perte d’un seul objet ? si vous utilisez un carnet de notes papier ou des post it, ou un ordinateur portable et qu’il lui arrive malheur, avez vous tout perdu ?
Tri des informations:
pouvez vous savoir en un claquement de doigt quelles sont les choses que vous devez faire en priorité, aujourd’hui, dans un contexte donné (étiquettes, tag) ?
Hiérarchie:
pouvez vous définir des ensembles de sous tâches et définir ce qui est bloquant dans ce que vous voulez faire?
Recherche:
pouvez vous lister des tâches selon des critères multiples?
Idéation:
peut on distinguer les pistes de réflexion qui ne sont pas des tâches, des trucs à faire qui sont… à faire?
Avancement:
pouvez vous savoir ce que vous avez déjà accompli, à quel rythme, extraire des rapports d’activité et ce qui reste à faire?
Pour avoir testé un paquet de solutions d’applications de productivité j’en suis venu à utiliser différents outils pour les besoins pro (qui ne concernent que des projets liés à du code avec d’autres gens) et perso qui peuvent concerner des choses aussi variées que « il faudrait que je rachète des croquettes pour le chien » à « trouver un cadeau d’anniv pour machin » ou « réserver un hôtel dans tel endroit pour les vacances d’hiver ».
Pour capter les idées je les note dans un fichier texte sur mon tel, synchronisé avec Nextcloud, puis ensuite sur ordi (synchronisé avec Nextcloud aussi) je les marque, complète, range, trie, et marque comme fait, tous les jours ou presque.
J’ai utilisé le Deck de nextcloud pendant un temps, mais je le trouvais pas assez réactif, compliqué à gérer dès qu’on a beaucoup de tâches (plus de 50) et fastidieux pour rajouter des tags. Le logiciel GTG (gettting things gnome) fait super bien le boulot, mais l’installation avec flatpak en fait une solution pas évidente à mettre en place, c’est dommage parce que c’est un très chouette logiciel libre qui m’a permis de noter 380 tâches et de les réduire à moins de 80 au fil de l’eau en une année.
Enfin, j’ai exporté mes tâches de GTG vers un fichier texte qui utilise le formalisme pour Emacs, le format Orgmode, qui avec quelques raccourcis clavier me permet de répondre à tous mes critères. ça fait vraiment des trucs super pratiques avec de simples fichiers texte, sauf que pour prendre en main Emacs il faut s’accrocher et apprendre trouzemille concepts. Emacs c’est comme un instrument de musique super difficile à utiliser qui demande beaucoup de coordination. Donc quand j’ai une idée je la note dans un fichier texte de nextcloud sur mon tel, et c’est ajouté à mes fichiers .org qui sont ensuite utilisés par orgmode une fois devant un ordi. ça reste lisible et modifiable en dehors d’emacs, et vraiment fiable.
ça remplit donc mes critères pour les tâches personnelles, et reste donc utilisable dans n’importe quel éditeur de texte, mais ce n’est vraiment pas adapté au grand public. C’est pour ça qu’au final je conseille de se mettre à plusieurs sur un nextcloud et d’utiliser les cartes du deck, que l’on peut aussi gérer sur son smartphone avec l’appli Nextcloud Deck.
Enfin, si vous voulez tester GTG et que la ligne de commande ne vous fait pas peur et que vous êtes sur un système libre tel qu’ubuntu ou debian et autres dans le genre, vous pouvez ouvrir un terminal (crtl + shift + T) vous accrocher à votre slip devant la SIMPLICITEY d’installation que voilà (>___>) et éxécuter chacune de ces lignes une par une en les copiant collant:
sudo su # puis entrer votre mot de passe pour passer en mode administrateurapt install flatpakapt install gnome-software-plugin-flatpakflatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepoflatpak install org.gnome.GTGflatpak run org.gnome.GTG
voilà, une fois que vous avez installé GTG vous n’aurez plus qu’a faire la commande flatpak run org.gnome.GTG pour lancer le logiciel.
On pourra bien sûr voir tout ça (et tout le reste :D) un de ces jours à liness. Bien que ce weekend je n’y sois pas.
Je suis curieux de savoir ce que vous utilisez pour vous organiser et si vous avez des critères différents pour considérer qu’un système de gestion de tâches est bon pour vous, et comment l’améliorer, sans aller à l’obsession théorique comme c’est le cas pour moi 🙂
Bonne journaille!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
Il vous est probablement déjà arrivé de perdre beaucoup de choses à la mort d’un disque dur ou d’un ordiphone. Ou en ayant des vil malfrats qui dérobent votre matos. Ou en ayant un incendie chez vous si vous avez vraiment pas de bol. Les faits sont là, les disques durs meurent et les services de cloud ferment, la pérennité des données est importante et il ne faut pas compter sur les autres si vous voulez conserver votre vie privée, vos travaux, vos carnets d’adresse et vos souvenirs. Il y a un moment où vous devez prendre en main la gestion de la pérennité de vos données et développer une stratégie de backup, ou bien une fois les emmerdes passés vous n’aurez plus que vos yeux pour pleurer et vous pourrez mettre la clé sous la porte.
Une approche naïve consiste à copier coller son dossier home ou « mes documents » de temps à autre quand on y pense, sur un disque dur. Et « de temps à autre » ça signifie parfois à des mois ou des années d’écart. L’essentiel pour que les sauvegardes soient utiles et ne doublent pas de volume à chaque fois que vous en faites une, c’est d’avoir un outil adapté, simple d’utilisation et AUTOMATIQUE. Qui fonctionne tout seul sans que vous ayez besoin de plus de quelques minutes pour le mettre en place et ne plus avoir à y penser.
J’ai donc essayé pas mal de choses et ai fini par adopter une stratégie qui ressemble à ce schéma (fait avec GIMP et les icones GNOME Zafiro variant A) dont je vais détailler chaque partie ici.
Stratégie de backup avec rsync et borgbackup par tykayn – cipherbliss.com
Définir ce que l’on veut sauvegarder
Pour faire vraiment simple on va dire qu’on veut sauvegarder l’intégralité de son dossier utilisateur, mes documents pour les gens que je plains d’être sous windaube, ou son « home » sous les systèmes linux civilisés. On va mettre en place une sauvegarde automatique avec des logiciels à interface graphique. Pour les mordus de la ligne de commande et les gens qui veulent faire des scripts je partage mes scripts à la fin de l’article.
On aura besoin d’à minimum:
son ordi perso avec suffisamment de place.
un disque dur USB avec un peu plus de place que votre dossier home.
le logiciel Vorta pour faire les sauvegardes dans une archive compressée.
le logiciel Grsync pour répliquer notre archive sur d’autres disques.
Je n’ai aucune idée de la place que peut prendre votre bazar à vous, personnellement comme j’ai beaucoup de travaux de dessin, des codes sources de pas mal de projets, des photos et vidéos à la folie et des backups d’autres gens j’ai près de 1.5 téra octets de trucs à sauvegarder (avant compression). Niveau coût des disques ça va, actuellement on peut trouver des disques USB3 portables de 4 To à environ 100€, et des services de stockage en ligne pour 2To environ de ce coût à l’année. Mais vous avez probablement des disques durs externes que vous pouvez réutiliser. Ne gaspillez pas votre argent dans des disques SSD EXTERNES, ils sont beaucoup trop cher pour ce que l’on veut faire. Personnellement j’ai investi dans quelques disques usb de 4To.
C’est parti pour la récolte de données
Dans notre home on va donc mettre de façon très pragmatique tout ce que l’on veut sauvegarder dans un dossier nommé BAZAR.
On ne va pas le ranger maintenant, il est bien plus important d’avoir une sauvegarde automatique en place en premier lieu.
Donc, mettez y votre bazar personnel qui proviendrait de vos supports externes:
appareil photo
tel
anciens disques durs
autres ordinateurs
export de comptes en ligne (ceci prend du temps, donc notez vous juste quelque part que vous devriez le faire. Le plus gros des données que vous pourrez récupérer sera probablement chez google takeout, facebook, et dropbox. Le web est rempli de liens morts et de services décédés, utilisez votre agenda pour vous rappeler de récupérer vos données)
C’est passionnant de voir comment les gens s’organisent, par type d’activité (lecture, écriture, travail, sport…), par type de média (photos, vidéos, administratif…), ou avec une méthode triant les choses selon leur statut (actif, congelo, inbox, archives, façon Ploum). à vous de voir ce qui vous convient. Personnellement j’ai hâte de trouver un moyen de naviguer dans mes dossier avec un système de tags qui rendrait la hiérarchie des données beaucoup plus adaptable, en attendant je range les dossier par un mélange de type d’activité, de genre de média, et de statut d’archive.
L’important c’est que ça vous parle.
Mise en place de l’archivage automatique
Récupérer les logiciels Vorta et Grsync.
soit avec votre logithèque, soit en lançant la commande:
Notre archive, ou repository, c’est la version compressée et historisée de tout ce que l’on veut sauvegarder. On pourra donc revenir dans le temps et faire de la restauration si on veut des fois que l’on supprime un truc important et qu’on ne s’en rende pas compte tout de suite. Dans le schéma ça correspond à l’icone zip. Vorta utilise un logiciel nommé Borgbackup, qui a le gros avantage de proposer plusieurs façons de sécuriser votre archive et de réduire énormément la taille de tout ce que vous souhaitez sauvegarder, tout en faisant disparaître l’espace pris par les portions de fichiers en double. (pour moi la taille de l’archive fait 1.1 Téra au lieu de 1.5)
Dédupliquer les données est une tâche complexe lorsqu’on veut la faire à la main. Bien sûr il existe des outils pour ça, mais parfois on préfère avoir des fichiers en double pour des raisons de logiques de rangement. Borgbackup va chercher tout seul les doublons et utiliser un système de fichier dans ce but. On peut aussi formater ses disques en ZFS ou en Btrfs pour stocker ses fichiers et bénéficier de ce genre de réduction de taille de fichiers, mais ce n’est pas aujourd’hui qu’on va le faire 😀
Donc, où créer notre archive de backup?
Si votre ordinateur personnel a encore plein de place disponible, nous pouvons faire notre archive borg sur cet ordinateur. Autrement il faudra la mettre sur un disque externe, mais c’est moins bien car ça veut dire que vous avez une copie de moins de votre archive, donc davantage de chances de tout perdre. Dans le cas idéal, donc, nous devons créer un dossier en dehors de notre home (ben oui, on ne va pas mettre notre archive en copie dans notre archive-ception.
Admettons que l’on mette notre repository dans un dossier /var/mon-backup-borg
Il ne nous reste plus qu’a dire à Vorta dans l’onglet Sources que l’on veut sauvegarder le dossier home.
Sauvegarder la phrase de passe pour rendre illisible votre archive à quiconque tomberait sur votre disque externe.
Dans l’onglet Schedule on demande à ce que vorta soit lancé au démarrage de l’ordinateur et qu’il s’exécute toutes les heures.
On a plus qu’a démarrer le premier backup avec le bouton en bas, et roulez jeunesse.
Plus qu’a attendre quelques minutes ou heures selon le volume de trucs à sauvegarder et la force de compression que vous avez choisi.
Répliquez les tous
On a notre archive qui se met à jour toute seule, on a plus qu’a sauvegarder ailleurs notre sauvegarde. Pour le grand public je conseille donc d’utiliser Grsync, une interface graphique de Rsync, logiciel de syncronisation de fichiers.
Nous devons donc dire à Grsync que l’on veut copier notre repository (la source) vers un disque externe (la destination). On appuie sur syncroniser, et c’est parti.
Cool ça marche
oui, bon c’est cool tout ça, mais grsync ne va pas copier tout seul automatiquement votre repository après les sauvegardes, et si vous oubliez d’appuyer sur le bouton dans Grsync pendant longtemps, votre disque externe n’est jamais à jour. Et ce qui serait bien c’est d’avoir vos disques externes en plusieurs exemplaires, sur des lieux physiques différents. Typiquement vous pouvez confier un disque à une amie, à votre famille, à une asso ou dans un coffre enterré dans une enveloppe étanche, en faisant des permutations de disque de temps à autre 😀
Comme ça, même si chez vous survient une catastrophe vous n’aurez pas tout perdu. Et grâce au chiffrement de votre repository, même si votre autre lieu a un cambriolage, le contenu de l’archive ne sera pas lisible sans la phrase de passe.
C’est pourquoi je préfère utiliser un script de syncro qui se lance automatiquement par cronjob toutes les x minutes. Mais ça, c’est une autre histoire.
Tester la restauration
Dernier point, vérifiez que vous pouvez restaurer des fichiers avec votre repository de temps en temps. Parce que c’est bien beau de faire des archives, si elles sont corrompues ça ne vous aidera pas quand la bise sera venue. Un bon petit rappel de calendrier tous les 3 mois devrait vous aider à vérifier que tout est propre.
Faire du propre dans sa maison
En parlant de propre, vous pouvez utiliser Baobab pour visualiser les dossiers qui prennent le plus de place. Ce logiciel libre est déjà présent dans ubuntu. Le meilleur moyen d’avoir des archives utiles reste de supprimer le merdier qu’elle contient. C’est une tâche longue et difficile, mais ça vaut le coup si on veut ensuite pouvoir retrouver très rapidement des choses par un simple ctrl+f dans ses dossiers.
baobab /home
lancez le sur votre home pour trouver les trucs à virer de vos archives.
Si vous avez des astuces aussi, faites passer! 🙂
Created with GIMP
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Ayant rencontré quelques gens habitués des Logiciels Libres on a fini par causer d’OpenStreetMap. Moi qui cherchais à monter un groupe local plus local que celui de Montrouge (qui est a un peu plus de 30 bornes de chez moi) j’ai trouvé assez de gens pour lancer officiellement un groupe Essonne.
Ce qui est top avec ce lieu de rencontre, 53 rue Monttessuy, à Juvisy sur Orge c’est que la salle est vraiment grande, et permet donc de se réunir à bonne distance, avec du bon équipement, à l’abri des intempéries et avec des transports en commun à proximité (plein de bus, RER C et D, ainsi que gare TGV si vous venez de super loin :D).
Ici vous avez l’Essonne, et en point en haut à droite dedans, c’est Juvisy sur Orge.
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
Pour faire du support et contribuer ensemble à plusieurs projets de CipherBliss, vous pouvez maintenant me joindre via Matrix/Riot sur le canal #cipherbliss:matrix.org
J’ai longtemps cherché un moyen d’avoir des canaux de discussion fonctionnant sur des logiciels libres et qui soient pratique à l’usage. Après avoir testé moults clients IRC et constaté que leurs versions portables (sur ORDIPHONE) étaient bien moisies et pas capables de prendre en compte les connexions intermittentes, j’ai testé plusieurs pistes telles que Telegram ou discord (mais ce n’est pas du libre) et c’est finalement Riot/Matrix qui a gagné en ayant un client mobile et desktop qui ont bien évolué depuis que j’ai commencé mon investigation.
L’UX est franchement bonne autant via une page web que via le client desktop, et le client mobile fonctionne très bien avec une connexion pourrave. Le tout étant entièrement sur du libre, ce qui est top.
« La prochaine fois, envoie moi un fax » -Georges Abidbol, l’homme le plus classe du monde
J’ai donc ouvert un canal pour CipherBliss et un autre pour les contributeurs francophones à OpenStreetMap, #osm-fr:matrix.org . Et si vous êtes plutôt Telegram, j’en ai fait un aussi osm-fr qui rencontre son petit succès.
Bisous et comme on dit à Brugges, à bientôt dans les cannaux!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
Le plus simple nous pour nous faire connaître étant de partager cet article. 
