Près d’un tiers de mes archives sont des doublons. Mais ça c’était avant.
Pour savoir quel dossier prend plein de place, il existe des outils comme Ncdu en ligne de commande si vous n’avez pas d’environnement de bureau, ou Baobab, aka l’analyste d’utilisation de disque installé de base sur Debian / Ubuntu. cela vous permettra de cibler les dossiers les plus gros.
Spoiler: ce sont les vidéos et les photos qui prennent le max de place chez la plupart des gens.
Vous pouvez cibler un dossier en particulier et voir ce qui remplit votre disque. C’est une très bonne première approche. On a juste à naviguer dans le graphe, ou dans les noms de dossiers, pour voir sur quoi on doit concentrer nos efforts. On peut ouvrir les dossiers dans notre explorateur de fichier pour aller voir en détail, mais on peut aussi mettre à la poubelle des dossiers entiers depuis Baobab.
Il ne faudra pas oublier de vider votre corbeille ensuite pour vraiment bénéficier de l’espace libéré.
Repérer les doublons avec Czkawka
si vous aviez l’habitude de fslint qui n’est plus maintenu c’est pareil. Voici le site officiel pour l’installer: https://qarmin.github.io/czkawka
Vous pouvez utiliser snap pour ça, c’est le plus simple.
snap install czkawka
# et pour le lancer
snap run czkawka
Pour s’en servir on sélectionne un ou des dossiers où fouiller, via le bouton vert « add ». Puis on clique sur « search » en bas à gauche. Et au bout de quelques secondes ou minutes si vous comparez beaucoup de trucs, vous avez les résultats. Vous pouvez ensuite cocher les fichiers à dégager, et appuyer sur la touche « suppr » de votre clavier pour les mettre à la poubelle. Ou faire d’autres actions comme proposé en bas à droite. Vous pouvez désactiver l’aperçu des images au clic sur le nom de fichier dans les paramètres, bouton « outil clé » en haut à droite.
Pour accélérer les comparaisons de hashs de fichier je vous recommande d’activer cette option dans les paramètres pour ne comparer qu’une portion des fichiers au lieu de leur intégralité.
L’intérêt de cette comparaison par hash c’est que ça permet d’éliminer des doubles qui ne se nomment pas pareil.
Vous pouvez aussi exclure certains motifs de dossiers pour accélérer les recherches. ça se passe dans les onglets en haut de l’écran, section « répertoires exclus ». Dans l’onglet configuration des éléments j’ai exclus certains dossiers:
On a donc en résultat une liste des fichiers en double, triés du plus lourd au moins lourd. Vous pouvez vous amuser à les supprimer un par un 😀 ou essayer de faire des choses plus malines.
Un double clic droit sur une ligne de fichier vous permettra d’ouvrir le dossier contenant le fichier dans votre explorateur de fichier. C’est très pratique pour repérer les contenus qui ont été copiés dans plusieurs dossier, afin de couper coller le contenu de l’un dans l’autre et de fait supprimer une énorme masse de doublons.
Czkawka permet aussi de faire de la recherche d’image similaire. Je ne l’ai pas utilisé mais ça semble prometteur.
Les quelques similarités que je cherche à supprimer sont des redimensions de fichiers réduites pour publication en ligne. un filtre sur des termes comme « thumb » ou « small » suffisent à en retrouver un paquet.
Restez groupir les photos et vidéos.
Exemple avec mes photos, elles sont dans un dossier nommé stockage-syncable/photos qui contient plusieurs trucs. Notamment des dossiers d’années, qui contenaient des dossiers mensuels, avec des dossiers groupant des jours et des évènements sur plusieurs jours. Un bon moyen de dédoubler tout ça c’est de faire du renommage de masse basé sur les métadata des photos/vidéos, et de tout réunir dans un seul dossier. Reste ensuite à tout répartir par année à coup de script. Et à mettre dans un coin dédié les fichiers qui demandent un traitement ou des incertitudes de doublonnage à lever.
J’avais des doublons pour faire des sélections d’albums, certains à imprimer, certains pour désigner des étapes de chantier de maison ou des lieux de capture pour des séquences de mappage openstreetmap à 360°.
Une fois que les choses sont élaguées des parties les plus évidentes on peut se demander comment faire en sorte de mettre tout ça en qualité, et surtout, à quoi ça ressemble des archives qui seraient de très bonne qualité.
La suite au prochain épisode!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Imaginez y’a des gens qui s’amusent régulièrement à tenter d’exporter leurs photos, vidéos et documents récupérés depuis leur téléphone pour tenter de s’en servir sur un ordi, ou un autre, et à avoir du mal à retrouver leurs documents quand ils en ont besoin. Qui pestent contre le protocole MTP qui n’est pas capable d’utiliser pleinement la rapidité d’un cable USB. Qui finissent pas utiliser Wifi File Transfer pour copier leurs fichiers du téléphone vers leur ordi, ou qui trouvent ça trop galère et du coup se disent que refiler tout à un bon gros GAFAM est une solution pérenne, haha ! Alors que les GAFAMS n’ont de cesse de tuer les uns après les autres leurs services de surveillance.
Alors qu’il suffit d’avoir sa propre gestion de fichiers syncronisés chez soi en pair à pair, par exemple avec Syncthing, ou un nextcloud chez des CHATONS.
Pour Nextcloud
Il vous faudra:
un compte nextcloud sur un serveur
l’appli client nextcloud sur votre téléphone, connecté à votre compte serveur
avoir l’upload automatique activé depuis votre téléphone, et ce même si vous n’avez pas le wifi connecté (voir dans les paramètres d’upload automatique de l’appli mobile)
avoir le client nextcloud installé sur un ordinateur, connecté à votre compte serveur
Pour Syncthing
Il vous faudra:
faire marcher syncthing sur votre ordi
faire marcher syncthing sur votre ordiphone
configurer les dossiers à faire syncroniser
appairer les deux identifiants de syncronisation
accepter la syncronisation sur les deux appareils, choisir les dossiers concernés
et tadam, vos photos, vidéos et documents seront téléchargés sur votre ordi. Vérifiez dans les paramètres que l’envoi vers le serveur nextcloud se fait même si vous n’êtes pas connecté au wifi.
Une fois l’upload fait automatiquement vous aurez vos médias téléchargés dans votre dossier Nextcloud sur votre ordi, par défaut dans votre dossier de /home/mon_utilisateur/Nextcloud/InstantUpload. Ce dossier de destination est bien sûr modifiable, tout comme votre client Nextcloud vous permet de syncroniser plusieurs dossiers différents, de ne pas forcément tout syncroniser de ce qui se trouve sur votre serveur Nextcloud, et pas forcément dans le dossier /home/mon_utilisateur/Nextcloud. Mais bon, pour garder l’exemple simple on va prendre les paramètres par défaut.
J’ai un dossier pour mes photos et vidéos à ranger, il me suffit de déplacer automatiquement les médias récupérés depuis le dossier InstantUpload vers celui ci, de les renommer automatiquement pour suivre ma convention de nommage avec des tags, et de les déplacer dans le dossier annuel. ça se fait très simplement avec un seul fichier de script bash, qui est exécuté toutes les 5 minutes sur mon ordinateur d’archivage.
Comme le dossier InstantUpload distingue dans des sous dossiers les médias que j’ai capturé par mon téléphone et ceux que j’ai téléchargé, je peux les ranger automatiquement avec un simple couper-coller fait par la commande mv (move). Je pourrai mettre des descriptions et des tags ultérieurement avec mon gestionnaire de photos scriptable Geequie, avec mes raccourcis clavier configurés via ma procédure d’installation de gestion de fichiers.
Le meilleur moyen d’éviter que le bazar soit partout, c’est de le concentrer dans un seul dossier. Donc pour tous les autres trucs que je récupère sur mon téléphone, je peux les envoyer dans mon dossier de bazar.
Ne reste plus qu’a se consacrer un peu de temps à autre, via un rappel d’agenda par exemple ou une revue hebdomadaire (coucou la méthode GTD) à faire disparaître le bazar, soit en truc rangé, soit dans le néant comme le conseille Marie Kondo.
le fichier de crontab:
#Ansible: run nextcloud workflows of tykayn
*/5 * * * * /bin/bash ~/Nextcloud/ressources/workflow_nextcloud/cronjob_nextcloud.sh
# back pictures to ARCHIVE_SYNCABLE
logDate 'copy of Nextcloud InstantUpload photos'
mv ~/Nextcloud/InstantUpload/Camera/* "$PHOTOS_TO_DISPATCH" | tee -a $LOG_FILE_BACKUP 2>&1
mv ~/Nextcloud/inbox/instantUpload/* "$PHOTOS_TO_DISPATCH" | tee -a $LOG_FILE_BACKUP 2>&1
#mv ~/Nextcloud/inbox/instantUpload "$PHOTOS_TO_DISPATCH" | tee -a $LOG_FILE_BACKUP 2>&1
guessfilename "$PHOTOS_TO_DISPATCH/$CURRENT_YEAR*"
cd $PHOTOS_TO_DISPATCH
move2archive --archivepath=$PHOTOS_FOLDER "$CURRENT_YEAR*"
echo ' ' >> $LOG_FILE_BACKUP_DATES
echo "### ${today} medias in $ARCHIVE_SYNCABLE/photos/$CURRENT_YEAR" >> $LOG_FILE_BACKUP_DATES
ls -l "$ARCHIVE_SYNCABLE/photos/$CURRENT_YEAR" | wc -l | tee -a $LOG_FILE_BACKUP 2>&1
Secouez le tout avec une mise en archive chiffrée par borg backup, syncronisez avec des supports distants, et voilà qui est automatiquement rangé.
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Pour se conformer à une gestion de l’information durable il faut adopter des méthodes fiables sur le long terme, voici donc quelques outils respectueux de la vie privée qui vont nous permettre de mettre tout ceci en place. Mais avant cela, on doit définir ce qui représente une archive propre.
Qu’est-ce qu’une archive propre?
Aucun fichier en double
des noms de fichiers uniques, et qui ont du sens
un système d’étiquetage flexible qui permette des recherches ultra rapides
des automatismes pour ranger et renommer les choses
les données sont chiffrées
Les difficultés courantes pour avoir des archives cohérentes et propres telles que définies ci-dessus sont les suivantes:
on a plusieurs supports de taille différentes, datant d’époques différentes
on a à notre disposition les données de plusieurs personnes différentes, qui ont donc chacun leur façon de ranger leurs archives
des informations liées aux fichiers sont parfois stockées non pas dans les fichiers, mais ailleurs comme dans les dossiers qui la contiennent, ou dans des outils séparés, voire pire, en SaaS. Ce qui rend leur déplacement périlleux.
certains fichiers sont redimensionnés pour être publiés en ligne, et peuvent aussi être caché dans des archives zip
les informations de date de création sont erronées et pourrissent les données exif
les noms de fichiers ne sont pas forcément supportés par votre système d’exploitation (coucou windows)
les rythme de changement des données sont inégaux entre les sources qui les produisent. Je ne prends pas autant de photos que de médias sont publiés sur mon instance peertube par exemple.
Différentes tailles de support dans le bazar
Pour pouvoir travailler confortablement, il faut regrouper vos données dans un support de stockage le plus grand possible. On va désigner cet espace par « mon ordinateur d’archivage », en ce qui me concerne c’est une tour dans laquelle j’ai mis des disques en redondance par système de fichier ZFS pour avoir au final 10 To d’espace maximum fort bien répliqué. C’est largement suffisant pour ce que j’ai à gérer, surtout qu’avec BorgBackup les contenus que je sauvegarde sont compressés et dédupliqués. Mais commençons par le tri le plus simple, en utilisant notre explorateur de fichiers.
Nos angles d’attaque pour réduire le bazar quand on a aucun outil avancé: l’aplatissement des hiérarchies de dossier, la recherche par format de fichier, la suppression, et le couper coller. On va voir quelques façons plus efficaces bientôt.
Centralisons le bazar dans un seul dossier
Certains préféreront avoir toutes leurs archives dans leur dossier home personnel. Mais je ne le conseille pas, car j’ai des dossiers home variés sur divers ordinateurs, qui n’ont pas tous de quoi stocker l’intégralité de mes archives dans le home personnel. J’ai donc créé un volume ZFS chiffré monté dans un home séparé, le /home/poule (comme un pool de disques, haha!). Et la phrase de passe déchiffrant ce volume est stockée dans mon gestionnaire de mots de passe.
Pour commencer vous pouvez faire plus simple et tout mettre dans un sous dossier de votre home, ou dans un autre home vierge. Dedans on va regrouper des trucs à archiver, créons donc un dossier BAZAR, et un autre où on aura des fichiers proprement rangés et dédupliqués.
Couper coller les données depuis les autres supports de stockage (clé usb, disques dur externes, laptop, téléphone, gopro, autres trucs divers et variés) afin de ne pas faire le travail de regroupement en double. Certains dossiers sont identiques et faciles à identifier, surtout si vous les avez récemment rangés, vous pouvez les supprimer sans les regrouper dans le BAZAR.
On va pouvoir ensuite rechercher les doublons pour réduire le boulot de mise en qualité.
Pour comparer avec ce que l’on a actuellement on va mesurer la taille que prend tout le bazar avant qu’on s’en occupe
du -sch /home/poule/
Vous devriez voir la place prise par l’ensemble de votre dossier poule, notez la dans un coin.
Mise en qualité de notre archive
C’est bien simple, tout ce que vous n’automatisez pas, vous devrez vous le peler à un moment ou un autre, ou faire peser cette responsabilité à quelqu’un d’autre. Mais il ne faut pas se leurrer, vous aurez forcément besoin à un moment ou a un autre de retrouver vos fichier, ou des données qu’ils contiennent. Comme pour les objets physiques, plus on en accumule, plus on devra consacrer de temps à les gérer, ou a vivre avec des poubelles. Moins de corvées à faire, c’est plus de temps pour une vie plus intéressante, donc par pitié, virez des trucs, gérer vos projets de façon à savoir où vous en êtes et automatisez vos tâches. Votre futur vos-même vous en remerciera.
Commençons à voir quels outils numériques libres on peut utiliser pour se simplifier la vie.
Avant de s’attaquer à nos fichiers il faut avoir dégagé le gros des doublons, et avoir regroupé ensemble les fichiers qui ont le plus de chance d’être proches une fois rangés. Baobab et Czkawka à la rescousse.
Enfin, faites gaffe quand vous faites des modifications massives, il ne faudra pas venir chouiner que vous avez tout bousillé si vous n’avez pas fait de sauvegarde ailleurs et que vous avez cassé vos fichiers important au lieu de juste casser vos fichiers de démonstration. Un bon moyen d’éviter ça c’est d’avoir une bonne stratégie de sauvegarde. Sans oublier la partie « sauvegarde à froid, hors ligne, loin de votre ordinateur habituel, débranchée pour de vrai ».
Design de noms de fichiers retrouvables
Voilà ce à quoi on vise pour les noms de fichiers, une structure précise avec des sections optionnelles:
/home/poule/encrypted/stockage-syncable/photos/2023/2023-01-18T13.09.35 fruit du dragon -- nourriture.jpg
Il va nous falloir des outils pour ranger dans un dossier organisé, définir une date en entête du nom, une description, et des tags, avant la fin du nom de fichier contenant son format, et que tout ceci soit suffisamment fluide à utiliser pour qu’on garde ces outils dans la durée, sur des décennies, des sauvegardes qui durent des milliers d’années. Rien que ça oui. Et que l’on puisse restaurer.
Utiliser un vocabulaire contrôlé pour marquer les fichiers
Contrôler les tags à utiliser en les limitant, oui mais comment? On va utiliser un fichier qui va prédéfinir une cinquantaine de mots que l’on va pouvoir appliquer à nos fichiers. Ces tags devront être cohérents dans leur casse: bas de casse, termes au pluriel, un seul mot ou plusieurs mots reliés par des soulignés, suffisamment généraux, et ne pas se recouvrir dans leur sens.
On peut aussi les utiliser pour faire de la gestion de projet en définissant un cycle de vie des fichiers, ce qui permettra d’avoir des versions datées et d’indiquer leur état d’avancement dans un tag.
Dernier aspect utile: définir la visibilité des fichiers, privés, confidentiels, ou publics quand cette visibilité n’est pas précisée.
les brouillons, les versions d’avancement, l’état publié, ou terminé sont des états qui ne se recouvrent pas et permettent de suivre l’état des fichiers par une simple recherche sur leur nom.
Commencez par peu de termes, et faites du jardinage en renommant en masse les fichiers au fur et à mesure, mais n’allez pas mettre des tags ne correspondant pas à des cas d’usage de choses que vous aimeriez rechercher plus tard.
Avec l’outil Filetags nous allons pouvoir attribuer en masse et avec de l’autocomplétion des tags à une sélection de fichiers.
Exemple de fichier .filetags:
amis
animaux
bâtiment
carte
chantier
dodo
famille
festival
fête
gopro
gopro-back gopro-front
graph
has_no_tag
hélia
illustration
maison
manif
nourriture
papier
plan
sélection
voiture
voyage
public private
brouillon final publié
jeté
matériel
portrait
Voyons quels outils on peut utiliser, et après on verra comment les installer.
Ajouter une date au nom de fichier
Beaucoup de fichiers ont un nom qui n’est pas bien utile dans une recherche d’informations.
Pour toutes les photos et vidéos que j’ai pris avec mes smartphones et appareil photo, on retrouve un certain schéma de nommage. Je pouvais donc lancer une commande de renommage massif sur tous les fichiers qui correspondaient à ce schéma. En faisant des essais sur plusieurs jeux de fichiers de tests d’abord avant de progressivement lancer le renommage sur des portions de plus en plus grosses de mon dossier de photos.
Exiftool à la rescousse! Vous pouvez l’installer avec Apt:
sudo apt install exiftool
# renommer mes fichier DSC*.jpg en leur date et heure.jpg
alias ex="exiftool '-filename<FileModifyDate' -d \"%Y-%m-%dT%H.%I.%S%%c.%%le\" -r"
alias ex2="exiftool '-filename<DateTimeOriginal' -d \"%Y-%m-%dT%H.%I.%S%%c.%%le\" -r"
C’est un outil qui permet de lire les métadonnées, en écrire, et renommer les fichiers tout en les déplaçant si on le souhaite. Pour que ça reste assez simple, j’ai fait en sorte que mon utilisation d’exiftool ne déplace pas les fichiers, en comptant sur un autre outil présenté ci-après: move2archive.
Cependant y’a quelques soucis, certains fichiers perdent des informations exif quand on les déplace. C’est rare mais ça arrive. il faudra donc les renommer à la mano si l’info est perdue.
On peut aussi croiser le problème des informations exif entrées différemment d’un appareil photo à un autre, c’est donc aussi valable quand on change de smartphone. Donc pour les photos récalcitrantes j’ai fait une autre version du script exiftool qui se base sur un autre attribut, celui de la date de modification du fichier.
Hey mais, et si pour certains de mes fichiers j’ai déjà une description et que je souhaite la garder? Il me faut un outil qui sache détecter mon schéma de nom de fichiers et ne pas tout péter. Date2Name est là pour ça! Quelle chance!
Date2Name permet de rajouter une date avec ou sans précision de l’heure en début de nom de fichier.
Ajouter un texte de description
appendfilename est dans la place. il va aller chercher le bon endroit dans le nom de fichier pour ajouter du texte, il dispose d’une option pour aller l’ajouter avant, avec l’option prepend.
Ajouter ou enlever des tags.
filetags va lire notre fichier de vocabulaire controllé .filetags, et nous proposer de rajouter ou enlever des tags à notre sélection de fichiers dans une mini fenêtre de terminal. Pour enlever un tag on le précède d’un moins. Et on peut faire de l’ajout et de la suppression en même temps.
Remplacer les noms de fichiers en masse
Pas besoin d’outil pour cela, dans l’explorateur de fichier Nautilus ou Thunar, vous avez un choix pour rechercher-remplacer dans les noms de fichier.
Ajouter le nom du dossier parent
J’ai rangé pas mal de fichiers en donnant des informations au dossier qui les contient, pour enrichir ces fichiers il me fallait donc une façon automatique de renommer les fichiers en question. Je me suis appuyé sur append file name pour ça et ai produit un script python nommé rename file folder.
Renommer les captures gopro 360
J’ai aussi fait un script perso, mais en bash cette fois, pour le sport: gopro_rename. Celui ci détermine selon le nom original si il s’agit d’une capture du côté frontal, ou arrière, et renomme en conséquence, tout en gardant en description le nom de fichier original pour suivre la séquence. Je peux ensuite faire du appendfilename pour ajouter une description de la séquence.
Deviner le nom de fichier
un script pour les renommer tous! Si on a suffisamment d’indices dans la structure du nom de fichier, dans ses données exif, ou dans son contenu, on peut le renommer automatiquement, et le mettre au bon endroit.
guessfilename est là pour ça, il réunit plusieurs considérations précédentes et va tenter de nettoyer les noms de fichiers automatiquement.
Déplacer automatiquement les fichiers
Une fois qu’on a nos fichiers nommés proprement, on peut les déplacer automatiquement. Pour les photos, dans le dossier photos/2023/ par exemple pour les photos prises cette année. Move2archive est là pour ça.
Move2archive dispose d’un fichier de configuration auquel on doit préciser quel est notre dossier racine pour nos archives, afin de les ranger automatiquement dans celui ci. On peut aussi préciser ce dossier avec un paramètre.
En cas de fichier dont le nom est identique à l’arrivée, on écrase pas le fichier et on laisse à l’utilisateur le choix de quoi faire avec.
Avoir des alias de commande
votre terminal peut enregistrer des raccourcis de commande, c’est bien pratique et permet d’avoir toujours la flexibilité de la suite de la commande. Exemples d’alias que j’utlise dans mon fichier .bash_custom_aliases :
################ personal info management #########
alias gf="python $WORKFLOW_PATH/files_management/guessfilename_custom.py"
alias rff="python $WORKFLOW_PATH/files_management/rename_photo_folder.py"
alias m2a="move2archive --archivepath $stockage_syncable_folder/photos"
alias ex="exiftool '-filename<FileModifyDate' -d \"%Y-%m-%dT%H.%I.%S%%c.%%le\" -r"
alias ex2="exiftool '-filename<DateTimeOriginal' -d \"%Y-%m-%dT%H.%I.%S%%c.%%le\" -r"
alias exgps="exiftool '-filename<GPSDateTime' -d \"%Y-%m-%dT%H.%I.%S%%c -- has_gps.%%le\" -r"
git clone https://forge.chapril.org/tykayn/scripts
cd scripts/bash/file_management
bash install.sh
Chacun de ces outils est utilisable dans un terminal, mais ce n’est pas forcément le plus pratique. Pouvoir les utiliser en sélectionnant des fichiers dans notre explorateur de fichier favori, ou dans un gestionnaire de gallerie qui permet de lancer des scripts avec des raccourcis clavier personnalisables c’est tout de même vachement plus utilisable au quotidien.
Enjaillez!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
ça faisait un bout de temps que je me demandais si il existait de bons outils pour éviter la duplication de fichiers, qui permettraient de ranger un fichier dans plusieurs dossiers, mais sans que ça soit compliqué ou que ça dépende d’un service tiers.
Avoir une organisation de ses archives et fichiers courants quand on a – comme tout le monde – fait les choses sans méthode définie est une transition qui prend du temps. Tout comme pour sortir des GAFAM quand on baigne dedans, c’est pourtant une bonne chose à faire. Donc installez vous confortablement, ça va prendre du temps.
La méthodologie PARA permet de savoir où ranger les choses quand on en récupère de nouvelles, et où placer celles que l’on a déjà. Distinguer les fichiers que l’on utilise souvent, et ceux qui sont au repos et moins souvent consultés, que l’on qualifiera d’archivable ou de courants.
Définir un vocabulaire contrôlé pour que les tags soient suffisamment généraux et cohérents pour être utiles, et avoir de l’autocomplétion au moment de mettre ou changer les tags sur plusieurs fichiers. Faire des backups automatisés chiffrés et dédupliqués avec borg backup, afin d’éviter de gaspiller de l’espace disque et économiser en budget que je peux ainsi attribuer à des dons publics. Détecter les doublons avec Czkawka. Virer plein PLEIN de documents numériques et physiques. Utiliser un système de fichiers qui permette des gains et de la résilience, tel que le zettabyte-filesystem aka ZFS. Renommer en masse ses fichiers photos, les déplacer automatiquement dans un dossier annuel, taguer ses fichiers avec un logiciel de galerie, ou dans son explorateur de fichiers. Renommer ses fichiers de carto-photo 360 en masse pour suivre leur parcours et les appairer, puis les publier sur plusieurs sites tels que le futur géocommun Panoramax. Utiliser un moteur de recherche libre et local comme DocFetcher pour indexer et fouiller l’intérieur des documents quand on en a besoin.
Disposer d’un système de synchronisation pair à pair pour sauvegarder sur un serveur perso les documents capturés au smartphone, j’utilise Nextcloud et Syncthing.
Archiver automatiquement les documents capturés du smartphone dans nos archives.
Scripter sa façon de faire pour qu’elle soit documentée et portable. Partager le tout sous licence libre AGPLv3+ pour que chacun puisse faire le tout à sa sauce sans réinventer la roue:
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
C’est assez simple de faire des bots pour Mastodon, il existe des tas de bibliothèques pour le faire dans des tas de langages différents. On peut s’en servir pour accueillir les nouveaux inscrits, stimuler les découvertes de comptes, mettre en avant certaines thématiques en particulier, parler d’actualités, se lancer des défis, publier des images de memes, faire des rapports d’activité, détecter des activités potentiellement problématiques, et répondre à des questions en se faisant passer pour une intelligence artificielle.
Avant de se lancer dans l’aventure il faut faire en sorte de respecter certaines règles pour éviter de juste produire du spam ou de harceler des comptes. Certaines entreprises sont spécialisées dans ces activités de spam à des fins politiques ou de nuisances en tout genre, tel que Cambridge Analytica et les fermes de trolls. On peut donc créer des messages de bot très simples pour avoir un flux d’actu reflétant l’activité sur un jeu de données ouvertes, faire de la veille, enrichir ses connaissances et apporter de la vie et des échanges sur son média social. Mais chacune de ces tâches ne demande pas le même niveau de compétences techniques pour se faire. Dans votre boîte à outils vous aurez besoin de: – un carnet de notes pour savoir ce que vous voulez réaliser, et de faire en sorte que les publications que vous aller engendrer apportent quelque chose. – avoir un compte Mastodon qui serve uniquement à cela. L’instance botsin.space est ouverte à ce type d’utilisation et encourage à y faire des essais, mais aussi de la mise en production. – d’enregistrer votre application de bot auprès d’un compte Mastodon. – de bibliothèques pour aller gratter des données qui vous seront utiles, dans vos langages de programmation favoris. – de sources de données utiles. Sites web, textes, images, médias, documentation d’API. – de fabriquer des utilitaires codés maison pour faire marcher tout ça ensemble et détecter les problèmes lors des publications. – de documenter le tout pour maintenir vos scripts de bots. – de pas mal de temps pour faire des essais et erreurs. – de regarder quels services vous proposent de faire des publications qui pourraient vous intéresser sans avoir à coder vous même.
À propos de complexité: Simple, basique: – dire Bonjour, Monde! – publier quelque chose à heure fixe – faire un résumé des articles d’un flux rss
Modéré: – accueillir les nouveaux inscrits depuis 24h avec un message privé mentionnant leur pseudo. – publier une image au hasard prise dans un dossier et la déplacer dans un dossier d’images catégorisées comme publiées – publier les infos de journées mondiales lors de la dite journée mondiale – republier certains posts lors de l’apparition d’un post contenant certains termes Complexe: – faire un jeu dont on est le héros dont l’histoire avance selon un sondage publié auquel les autres gens participent. – simuler la publication de quelqu’un d’autre en apprenant comment cette personne s’exprime – réagir à une question en faisant une réponse pertinente – créer un bot sur mesure ayant ses propres cycles de publication – évaluer les penchants conspirationnistes d’un compte en fonction des analyses des comptes qu’il suit (analyse-ception) – analyser les toots publiés et détecter des messages problématiques pour en faire un rapport aux modérateurs du site – jouer et gagner à snake and ladders
Quelques exemples dans lesquels vous pouvez puiser de l’inspiration et copier les sources: – Ananas en Python : ananas · PyPI
Ce que j’ai réalisé comme scripts jusqu’ici:
– Republier un article de blog wordpress au hasard parmi une liste de tous les articles d’un blog, avec son titre et son résumé, avec la première image trouvée dans le corps de l’article. Beaucoup de publications passent à la trappe car elles sont captives d’un filtre sur les sites des GAFAM qui décident à votre place de qui sont les amis dignes de votre attention. Spoil: ceux qui permettent à la plateforme de maximiser ses gains. Rien de tout cela sur Mastodon qui est designé de sorte à ne pas capter entièrement votre attention. – Un meme au hasard dans un dossier de sélection, un certain nombre de fois par jour, et sans jamais republier la même image. – Publier une page présentant un tag du wiki openstreetmap en ne sélectionnant que son premier paragraphe, parmi les pages en français, et seulement si la page du wiki est en ligne, avec l’image attitrée du tag prise dans le wiki. – Publier les articles de l’AFIS sortis au cours des 7 derniers jours. – Publier les évènements dédiés à openstreetmap qui vont se produire dans les 7 prochains jours, à partir du flux RSS de l’agenda du libre, localisés uniquement en île de France.
Chacune de ces publications m’a permis de me constituer quelques utilitaires bien pratiques. *** Quelques limites Les choses trop datées, les informations débunkées, les liens publiés morts, les sources à gratter qui changent de structure, les scripts qui plantent sont autant de points d’attention à surveiller lors de la vie de vos scripts.
** Va chercher! Un accès à un compte par script permet de publier des choses, mais aussi de récupérer des informations de ces comptes, et notamment des messages privées et des notifications.
Ayant à gérer plusieurs comptes, je me suis heurté à l’ergonomie de Mastodon qui n’est pas faite pour la gestion de multi comptes. Ainsi, le seul moyen d’avoir une vue d’ensemble des interactions de différents comptes consistait à faire le tour avec différents logins, à utiliser une application mobile, ou un proxy en ligne en faisant confiance à je ne sais qui pour gérer mes accès. Et le logiciel Rambox qui semblait faire le café n’est pas si pratique. D’ailleurs je n’apprécie pas du tout qu’il demande maintenant d’avoir un compte pour l’utiliser, alors qu’il pouvait parfaitement s’en passer l’an dernier.
Je me suis donc lancé dans un petit projet de gestion multi compte qui permet d’interagir parmi plusieurs comptes dont j’aurai défini les accès en fichier de configuration. Actuellement je peux cliquer sur l’avatar de plusieurs comptes pour changer l’identité qui publiera le message, écrire le message et l’envoyer. J’ai aussi la possibilité d’avoir un rapport de tous les messages directs destinés à ces comptes, afin d’y répondre.
** Y’a pas que pour Mastodon Développer des choses pour faire des bots c’est bien beau, mais ça vous permet de réutiliser des données ailleurs et de contribuer au cycle de vie de la donnée ouverte. C’est un enjeu crucial pour la science reproductible, pour la cueillette et le jardinage dans OSM et ailleurs, mais c’est aussi super marrant. Have fun!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Dans un souci de transparence, voici une liste de gens à qui j’effectue ponctuellement ou régulièrement des dons dans un budget annuel de près de 1500€, soit environ 120€ mensuels pour par exemple financer des briques critiques et valoriser le travail. Les montants varient selon ce que je peux me permettre de donner au fil des différentes catastrophes sanitaires et climatiques qui nous tombent sur la tronche, mais dans l’idée ce budget de dons est représentatif. Ça peut sembler beaucoup pour un individu, ou peu pour une entreprise, mais c’est important pour mener des actions concrètes a peu d’effort. (et j’aimerais bien donner d’avantage, surtout que l’on compare rarement les coûts de ne pas faire quelque chose, comparé au coût de les faire)
Voici donc une petite liste de gens à qui je donne ou ai donné des sous pour supporter leur apport au monde, qu’il soit éthique, scientifique, artistique ou autre. Pour beaucoup j’aurais aimé qu’ils aient leur site web personnel pour ne pas dépendre de boites sans aucune éthique dont le modèle d’entreprise consiste en la pratique destructrice du capitalisme de surveillance. Si vous souhaitez avoir une présence en ligne, faites en sorte d’avoir au maximum la main sur vos propres modes de communication et vos données, plutôt que de tout confier à un GAFAM, essayez les CHATONS.
https://www.franciliens.net Je n’inclus pas le montant de mon abonnement FAI d’une quarantaine d’euros mensuels dans le budget cité au début de l’article. Franciliens.net
Tout soutien financier est bienvenue pour faire marcher les 900€ de location annuels de machines (chez OVH et chez moi) et services qui permettent à notre petite entreprise Cipherbliss.com de mettre à disposition du grand public, nous avons un compte Liberapay que vous pouvez relayer pour nous aider https://liberapay.com/cipherbliss.
Un grand merci au donateurs et donatrices qui permettent d’accompagner la mise en place et le maintien de nos services éthiques cette année encore!
Sur notre instance Mastodon, pensez à vous présenter publiquement pour que tout le monde sache un peu plus qui vous êtes, et que vous êtes une vraie personne et non un robot. Pensez aussi à mettre un avatar sur votre profil!
Je vous encourage également à montrer au monde à qui vous faites des dons, pour faire connaître les enjeux derrière, et montrer aux autres que faire des dons est important, que c’est une façon concrète de contribuer parmi d’autres, même quand on a que cinq ans, et que la donation se pratique plus largement qu’on ne le croit, pas seulement avec des dons du sang.
Bienvenue a la maison sur cipherbliss, enjoy! Et une bonne année 2023 🙂
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
This is post 2 of 6 in the series “gestion de l'information personnelle”
Décrit la gestion des fichiers et des informations personnelles que j’utilise pour tirer du sens de mes archives et les conserver de façon pérenne et découvrable, uniquement avec des outils respectueux de la vie privée
j’avais causé d’un outil nommé GTG, Getting Things Gnome qui s’inspire de la méthodologie « getting things done » pour ne pas oublier ses choses à faire dans un cadre d’utilisation uniquement pour vous (mono utilisateur). Vous pourrez le tester en l’installant avec le gestionnaire de logiciels Flatpak (plus d’infos ci après).
Si vous souhaitez gérer des tâches à plusieurs pour votre asso ou votre boite il faudra s’orienter vers autre chose, comme le Deck de Nextcloud par exemple, qui est un tableau de tickets kanban.
C’est un sujet que je trouve super intéressant tant on peut voir des différences au niveau de chaque personne, et découvrir qu’il existe tout un tas de recherche scientifique (et pseudo scientifique) sur « comment bien gérer ses priorités dans la life ». Pouvoir s’organiser a tellement d’impacts dans la vie courante que ça me parait essentiel de questionner ses habitudes à ce sujet.
Pour savoir ce qui convient le mieux à votre utilisation
il faut définir des critères au système de gestion de tâches que vous voulez utiliser.
Utilisateurs:
serez-vous amené à utiliser votre système tout seul ou a plusieurs?
Captation:
comment noter les choses que vous devez faire ou les idées que vous avez sans être forcément devant un ordinateur?
Continuité:
pouvez vous ne rien rater des choses que vous souhaitez faire à une date précise? Si vous avez raté une échéance, en serez vous avertis ?
Pérennité:
est ce que votre système est assez fiable pour résister à la perte d’un seul objet ? si vous utilisez un carnet de notes papier ou des post it, ou un ordinateur portable et qu’il lui arrive malheur, avez vous tout perdu ?
Tri des informations:
pouvez vous savoir en un claquement de doigt quelles sont les choses que vous devez faire en priorité, aujourd’hui, dans un contexte donné (étiquettes, tag) ?
Hiérarchie:
pouvez vous définir des ensembles de sous tâches et définir ce qui est bloquant dans ce que vous voulez faire?
Recherche:
pouvez vous lister des tâches selon des critères multiples?
Idéation:
peut on distinguer les pistes de réflexion qui ne sont pas des tâches, des trucs à faire qui sont… à faire?
Avancement:
pouvez vous savoir ce que vous avez déjà accompli, à quel rythme, extraire des rapports d’activité et ce qui reste à faire?
Pour avoir testé un paquet de solutions d’applications de productivité j’en suis venu à utiliser différents outils pour les besoins pro (qui ne concernent que des projets liés à du code avec d’autres gens) et perso qui peuvent concerner des choses aussi variées que « il faudrait que je rachète des croquettes pour le chien » à « trouver un cadeau d’anniv pour machin » ou « réserver un hôtel dans tel endroit pour les vacances d’hiver ».
Pour capter les idées je les note dans un fichier texte sur mon tel, synchronisé avec Nextcloud, puis ensuite sur ordi (synchronisé avec Nextcloud aussi) je les marque, complète, range, trie, et marque comme fait, tous les jours ou presque.
J’ai utilisé le Deck de nextcloud pendant un temps, mais je le trouvais pas assez réactif, compliqué à gérer dès qu’on a beaucoup de tâches (plus de 50) et fastidieux pour rajouter des tags. Le logiciel GTG (gettting things gnome) fait super bien le boulot, mais l’installation avec flatpak en fait une solution pas évidente à mettre en place, c’est dommage parce que c’est un très chouette logiciel libre qui m’a permis de noter 380 tâches et de les réduire à moins de 80 au fil de l’eau en une année.
Enfin, j’ai exporté mes tâches de GTG vers un fichier texte qui utilise le formalisme pour Emacs, le format Orgmode, qui avec quelques raccourcis clavier me permet de répondre à tous mes critères. ça fait vraiment des trucs super pratiques avec de simples fichiers texte, sauf que pour prendre en main Emacs il faut s’accrocher et apprendre trouzemille concepts. Emacs c’est comme un instrument de musique super difficile à utiliser qui demande beaucoup de coordination. Donc quand j’ai une idée je la note dans un fichier texte de nextcloud sur mon tel, et c’est ajouté à mes fichiers .org qui sont ensuite utilisés par orgmode une fois devant un ordi. ça reste lisible et modifiable en dehors d’emacs, et vraiment fiable.
ça remplit donc mes critères pour les tâches personnelles, et reste donc utilisable dans n’importe quel éditeur de texte, mais ce n’est vraiment pas adapté au grand public. C’est pour ça qu’au final je conseille de se mettre à plusieurs sur un nextcloud et d’utiliser les cartes du deck, que l’on peut aussi gérer sur son smartphone avec l’appli Nextcloud Deck.
Enfin, si vous voulez tester GTG et que la ligne de commande ne vous fait pas peur et que vous êtes sur un système libre tel qu’ubuntu ou debian et autres dans le genre, vous pouvez ouvrir un terminal (crtl + shift + T) vous accrocher à votre slip devant la SIMPLICITEY d’installation que voilà (>___>) et éxécuter chacune de ces lignes une par une en les copiant collant:
sudo su # puis entrer votre mot de passe pour passer en mode administrateurapt install flatpakapt install gnome-software-plugin-flatpakflatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepoflatpak install org.gnome.GTGflatpak run org.gnome.GTG
voilà, une fois que vous avez installé GTG vous n’aurez plus qu’a faire la commande flatpak run org.gnome.GTG pour lancer le logiciel.
On pourra bien sûr voir tout ça (et tout le reste :D) un de ces jours à liness. Bien que ce weekend je n’y sois pas.
Je suis curieux de savoir ce que vous utilisez pour vous organiser et si vous avez des critères différents pour considérer qu’un système de gestion de tâches est bon pour vous, et comment l’améliorer, sans aller à l’obsession théorique comme c’est le cas pour moi 🙂
Bonne journaille!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
Quelle plaie que de devoir se trimballer moult clés usb pour faire de l’installation de distribution en install party. Si vous n’avez pas de quoi faire de l’installation par réseau, le mieux est d’avoir plusieurs clés usb capables d’installer PLUSIEURS distributions, et non une seule. Pour ça on peut utiliser Ventoy: https://www.ventoy.net Vous pouvez le récupérer par clonage ou téléchargement de plusieurs façons.
git clone https://gitee.com/longpanda/Ventoy.git
On formate sa clé avec l’outil en ligne de commande ou avec l’interface graphique, et ensuite on a plus qu’a mettre des fichiers ISO dans la clé. Rien d’autre.
Une fois démarré sur la clé Ventoy, on a un écran qui propose toutes les distributions qu’on a copié. Super pratique !
Plus qu’a cloner la clé usb pour faire de la multi installation pendant une permanence linux 😉 Merci à Jac de Liness pour l’astuce!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
Woof, que de choses se sont passées cette année Migration d’un système de gestion de projets depuis Getting Things Gnome vers des fichiers Orgmode dans Emacs, qui reste une chose compliquée et nécessitant de nombreux ajustements pour en avoir une utilisation efficace. Plein de donations envoyées à des assos, ainsi que des créateurs et créatrices (comme Wikimedia, Archive.org, Gnupg, La quadrature du net, Nos Oignons, Framasoft, Openstreetmap, les voix du nucléaire, Le Réveilleur, Méta de choc…) pour un montant total d’environ 1500€ dans l’année passée.
Aucune donation reçue sur le compte liberapay de cipherbliss cette année comparée à l’année précédente. Si vous trouvez que les services déployés par mon entreprise et que ce que l’on fait ici vous est utile, je vous invite à nous faire un don par ici https://liberapay.com/cipherbliss. ça nous aide à payer les infrastructures (700€ par an pour mastodon, peertube, leurs backups et d’autres choses à venir) dégager d’avantage de temps à la modération des service, leur maintenance, la mise en place d’ateliers gratuits d’éducation populaire et l’amélioration de logiciels libres.
Le boulot, c’était pas évident durant 2020, mais au final ça a pu se faire à peu près normalement et à quasi 100% en télétravail, avec d’avantage de missions en direct avec le client, ce qui est mieux sur beaucoup de points quand on est freelance. Alors que d’habitude des tas de boites me contactent régulièrement, même si j’affiche ne pas être disponible, c’était le calme plat pendant les premières périodes de confinement, soit les trois quarts de 2020. 2021 s’est déroulé un brin plus normalement de ce côté là. Et la famille, bah ça se passe. Les amis, on les voit un peu plus quand y’a pas moult contaminations de partout et moyens de santé publique défoncés. Donc pas hyper souvent non plus. Et le turfu pour cette année? Premièrement, réaliser au moins un café vie privée dans des petits patelins d’Essonne. Le premier aura lieu le Samedi 22 Janvier, voilà son évènement mobilizon. ça causera gestionnaire de mot de passe et vie privée en général. Puis sortir une version bêta pour Framadate funky, sous un nom à définir avec la DINUM. Compléter mon wiki personnel, publier des tas de dessins et leurs sources numériques. Faire davantage de vélo, voir un peu plus de monde. Et on sera déjà bien.
Et vous, que prévoyez vous de beau cette année?
Allez à tantôt!
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies.
Le plus simple nous pour nous faire connaître étant de partager cet article.
j’espère que ça roule pour tout le monde en ce début de vacances. J’ai pu faire un atelier sur la création graphique et le dessin à Gometz, et suite à son succès je réitère l’expérience pendant les 4 prochaines semaines et ai publié ces évènements sur l’agenda du libre et sur mobilizon. J’en ai profité aussi pour alimenter le mobilizon d’OSM avec les prochains évènements référencés sur le wiki, l’agenda du libre, microcosm, et d’autres recherches.
Cependant j’ai avancé sur l’exportateur d’archive mastodon qui fournit des stats et un rendu HTML filtrable à partir du contenu d’une archive mastodon. On peut filtrer les posts selon qu’ils aient des médias attachés ou non, un nombre min et max de caractères, un terme de recherche basique, et on obtient des statistiques sur les tags qu’on a utilisé, ainsi que les gens a qui on a envoyé nos posts mastodon, le tout entièrement hors ligne. https://forge.chapril.org/tykayn/mastodon-archive-stats
Et j’ai enfin pu participer a une réunion mensuelle CHATONS, victoire! du coup y’a de l’activité à suivre sur le forum chatons 😀 https://forum.chatons.org
On prévoit de lancer le premier chapéro parisien de l’année en Novembre, voir les détails sur le forum.
J’avance sur ma gestion de tâches avec emacs / orgmode. Le chemin est long mais ça vaut le coup.
et vous quoi de beau?
Si vous aimez ce que nous faisons à Cipher Bliss, vous pouvez nous soutenir de plusieurs façons: en faisant un micro don sur liberapay , ou en cryptomonnaies. Le plus simple nous pour nous faire connaître étant de partager cet article. Suivez moi sur Mastodon @tykayn@mastodon.cipherbliss.com. Ce site restera libre comme un gnou dans la nature et sans pubs, parce qu'on vous aime. Que la source soit avec vous!
Le plus simple nous pour nous faire connaître étant de partager cet article. 
