Non, le Sénat ne vient pas de prendre le virage de l’Open Data
Ce billet aurait aussi bien pu avoir pour titre : « Comment le Sénat nargue l’Assemblée sur l’opendata ». Ou : « Le Sénat nous ferait-il le coup de l’opendatawashing ? ».
Édit du 22/12 : merci infiniment à Sébastien Dubourg du Sénat pour avoir lu ce billet et fait quelques remarques constructives. Ceci m’a permis de corriger quelques inexactitudes commises, et d’agrémenter le texte d’un paragraphe sur un point important qui m’avait échappé.
C’est une question qui est revenue à plusieurs reprises suite à mon dernier papier. J’y disais en terminant ne pas voir comment l’Assemblée nationale pourrait se convertir prochainement à l’Open Data, du moins dans le régime constitutionnel actuel, non pas en raison de quelques rigidités institutionnelles mais plutôt du fait d’une culture politique et technique spécifique. Pour résumer grossièrement, les députés ne refusent généralement pas l’idée de faire preuve de transparence, mais le fait est que la vie politique ne fonctionne pas ainsi.
À cela – donc – on m’a rétorqué que le Sénat s’y était bien converti, tout récemment d’ailleurs. Par exemple ce tweet, en réponse spontanée à la lecture du billet :
.@laspic Manque un détail : @Senat_info vient bien de prendre le virage de l’
#OpenData. L’@AssembleeNat doit donc forcément suivre !— Regards Citoyens (@regardscitoyens), 5:22 PM – 26 Nov, 13
Évidemment je ne pouvais l’ignorer, ce qui a été d’ailleurs souligné par quelques espiègles esprits… Comment pouvais-je ainsi tenir un discours pessimiste quand précisément une nette avancée venait d’être obtenue ? Je vais donc ici expliquer en quoi le fait que des lignes bougent au Sénat n’invalide pas ce que j’ai pu avancer.
De quoi parle-t-on ?
Pour commencer, je crois qu’il faut s’entendre sur des questions de définition. Open Data n’est pas open data, le nom propre et nom commun sont à différencier (voire à renommer). Je propose de poser la distinction suivante. L’Open Data est le mouvement, l’idéologie, la cause, c’est ainsi que je peux être tenté d’en cartographier le champ ou m’interroger si l’Assemblée s’y convertira. L’open data est une qualité attribuée à un type de donnée qui entre dans certains critères prédéfinis, et par extension le processus et les actions qui conduisent à mettre à disposition de telles données. Dans cette seconde acception, l’open data peut devenir un adjectif qualificatif, les deux mots n’en devenant plus qu’un pour l’occasion : « portail opendata », « politique opendata » et même (assez cocasse) « données opendata ».
La distinction semblera ténue à certains, néanmoins il est important de dissocier ce qui relève d’un discours normatif (“les données démocratiques doivent être ouvertes”) et ce qui relève de l’énonciation descriptive de spécificités technico-juridiques (“cette base donnée est librement accessible, et aisément et légalement réutilisable”). Évidemment, l’open data est la raison d’être de l’Open Data ; mais on peut très bien imaginer une institution (ou un quelconque autre acteur) produire de l’open data hors du cadre de l’Open Data. Pour approfondir la question des différents niveaux de signification de ce terme, je vous invite à lire ce petit état des lieux de Samuel Goeta.
De quoi cette plate forme est-elle le nom ?
Bref, qu’un acteur mette en place une plate forme opendata n’implique pas que l’on a affaire à un acte militant, ni même plus modérément partisan. C’est pourtant ce que nous dit ce tweet, en reprenant le titre de mon billet. Peut-être est-ce effectivement le cas, mais peut-être que ce ne l’est pas. On ne pas réduire une posture politique à un acte, aussi symbolique fut-il pour certains observateurs. On ne peut que considérer que – tout au plus – le Sénat s’inscrit dans un mouvement plus large, à voir ensuite s’il ne fait que s’adapter à une demande ou s’il fait sienne l’injonction d’ouverture et de transparence. Pour répondre à la question, il faut donc entrer dans les détails.
Quelles ont été jusqu’à présent les caractéristiques de la politique numérique de publicisation des données parlementaires au Sénat ?
- elle ne concerne que les données législatives (à l’instar de l’Assemblée) : le Sénat ne libère pas les données mais seulement des données. Le processus est certes en cours de mise en place, mais rien dans les annonces permet d’imaginer que d’autres données seront mises à disposition (comme celles relatives aux sénateurs par exemple). Ce point laisse entrevoir une posture prudente, pour ne pas dire minimale.
- elle n’est pas récente (du tout) : le Sénat a commencé à mettre à disposition des données législatives sur son site internet il y a un peu moins de vingt ans. Il est difficile de ce point de vue de considérer qu’un virage significatif ait été pris sur la question de la diffusion des bases de données.
- elle a toujours reposé sur le principe de l’accès libre aux données, dans un format standard et non-propriétaire (non pas que ce soit revendiqué, mais c’est ce que montrent les faits : du contenu en HTML et des menus hypertextes). Cela fait un moment maintenant que les données du Sénat sont parcourues par des robots externes qui s’emploient à tirer partie de ces informations (on pense notamment à l’usage qui en est fait par le site NosSénateurs.fr).
Quelles sont alors les nouveautés depuis fin octobre ?
Version 0.2 corrigée à l’aide des infotmations de S.D. La précédente est archivée ici
(cliquez pour agrandir)
Je note – en vrac – que :
la seule « libération de données » qui se profile concerne les amendements (la base AMELI).Aucunautrecontenu original n’a été– à ma connaissance –annoncé.C’est peu de nouveautés, proportionnellement à l’ensemble des données parlementaires existantes, mais ce n’est pas sans intérêt (pour la recherche scientifique en droit notamment).>> Nota : confirmé par S. D., « il n’y aura pas de données inédites ».on n’y trouve aucun texte intégral, les bases mises à disposition sont des registres de métadonnées. C’est-à-dire que ce ne sont pas les données elles-mêmes qui sont proposées ici mais uniquement les informations qui y sont relatives : auteur, date, thème, niveau d’avancement dans les procédures… Pour accéder aux contenus proprement dit, le site internet reste la référence, vers lequel les bases redirigent.<Ajout du 22/12>Les bases de données des Questions et des Comptes-rendus sont complètes, contrairement aux Dossiers législatifs. Pour ces derniers, on ne trouve que les métadonnées, c’est-à-dire les informations qui y sont relatives (auteur, dates, niveaux d’avancement dans les procédures, etc.), vraisemblablement pour des raisons de faisabilité et praticité, du fait du grand volume de données et de la complexité de leur structure. Pour celles-ci, le site internet public reste la référence, vers lequel la base redirige. </Ajout du 22/12>- <Ajout du 22/12>d’ailleurs, en interne, c’est ce même site web qui est utilisé comme interface aux bases de données parlementaires. Par conséquent, « cet export SQL permet au réutilisateur de monter une base de données relationnelle identique à celle que nous utilisons dans notre travail quotidien sans déperdition due à un changement de format. »</Ajout du 22/12>
- la licence ouverte fait que les utilisations à des fins commerciales et publicitaires sont maintenant officiellement autorisées, alors qu’avant théoriquement non. Ceci dit, comme le note Lionel Maurel, cette restriction était jusqu’à présent plus dissuasive que contraignante, son fondement juridique étant discutable. Sinon, en pratique rien ne change : selon le droit d’auteur, l’institution parlementaire ne possède pas les droits sur les données qu’elle produit, elles sont donc libres d’utilisation.
- les pratiques de collectes automatiques de données (scrapping) sont maintenant canalisées dans un espace dédié, quand auparavant les collectes dites “sauvages” se faisaient directement sur le site internet, avec une certaine tolérance de l’institution. Bien que ce ne soit pas indiqué explicitement, c’est bien la visite de robots qui est attendue principalement : qui d’autre irait lire des exports SQL ou CSV ?
Ce qui m’amène au constat suivant. La mise en avant des métadonnées montre que nous avons affaire avant tout à une plate forme d’aiguillage. C’est un espace qui a été créé essentiellement comme une porte d’entrée aux immenses archives du site, on peut la voir comme un sas qui évite aux data-analystes et/ou robots de parcourir les vastes données parlementaires pour n’en retirer qu’une infime quantité d’information quand bien souvent le contenu en lui-même n’intéresse pas. Cette plate forme est une mise en vitrine des informations les plus souvent recherchées. >> Nota : confirmé par S.D., « L’export sous forme de base de données SQL rend simplement l’exploitation des informations plus simple et plus systématique ».
Alors, en résumé, au Sénat il n’y a pas d’Open Data mais de l’open data, et il n’y a pas de virage mais une continuité. Plutôt que de s’être engagé volontairement dans une démarche proactive d’ouverture et de transparence (comme on serait en droit d’attendre d’un acteur se revendiquant du mouvement Open Data), le Sénat semble surtout avoir actualisé sa politique de publicisation selon les nouvelles normes de diffusion de données en vigueur. Par « Open Data », le Sénat entend surtout charte de qualité.
De l’opendatawashing au Sénat ?
On ne peut enfin que s’étonner du fait que, d’une manière assez paradoxale, le Sénat se revendique d’une idéologie qui n’est pas en adéquation avec ses principes de fonctionnement, et à son action. Il est surprenant de lire que le Sénat annonce « libérer » des données, en employant une terminologie nettement partisane pour désigner ce que précisément il ne fait pas (à l’exception des données AMELI). Le Sénat ne libère pas, le Sénat n’ouvre pas, le Sénat s’adapte aux nouveaux usages, reformate son offre, travaille le packaging. Qu’en retire-t-il ? Essentiellement des opinions positives en faisant de son obligation constitutionnelle de transparence un atout marketing. Quoique pas dénuée d’intérêt, le lancement de cette plate forme ressemble à s’y méprendre à une opération de communication.
Je propose trois éléments de réponses pour éclairer ce phénomène :
- Comme vu au tout début, la définition de l’« Open Data » est flou. Les deux dimensions idéologiques et technico-juridiques en font une notion mouvante, propice à l’interprétation de chacun. Que justement chacun en use selon ses intérêts propres est un comportement difficile à blâmer si l’on tient compte du pouvoir séducteur d’une telle nébuleuse idéologique. En France, il semble que les dimensions partisanes et subversives aient moins d’écho qu’outre atlantique, ce qui fait que bien souvent sur le terrain Open Data se résume à open data. Ainsi, le Sénat n’a vraisemblablement pas une posture très originale là-dessus.
- Le Sénat a toujours mis un point d’honneur à préserver une certaine avance sur l’Assemblée pour ce qui touche à l’informatique et à internet. Cette chambre qui accuse une certaine déconsidération – voire un certain discrédit – dans l’opinion publique, travaille depuis longtemps à se construire une identité innovante et réactive, en particulier pour ce qui concerne les technologiques numériques. C’est sa façon de se construire une image jeune et concernée par les enjeux sociaux contemporains. En lançant une plate forme qui se revendique de l’« Open Data », le Sénat est cohérent avec sa stratégie de communication à long terme.
- Les questions de transparence sont depuis quelques mois particulièrement sensibles au Parlement, toutes chambres confondues. Se placer sous l’étiquette « Open Data » permet au Sénat de se dédouaner et d’esquiver une partie des soupçons d’opacité, ce qui a l’avantage en plus de détourner l’attention des observateurs vers l’Assemblée moins opendata-friendly. En se plaçant en position de premier de la classe, le Sénat devient celui qu’on érige en exemple au détriment de l’Assemblée dont on exige des efforts. Le tweet cité au début du billet est un très bon exemple du succès que peut avoir cette stratégie.
Pour finir, revenons à la question initiale. L’Assemblée ne peut-elle que suivre le Sénat et ouvrir sa propre plate forme ? C’est effectivement une possibilité qui ne peut pas être écartée, les deux institutions ayant les mêmes exigences constitutionnelles, et une culture administrative et technique très proche. Cependant, on voit que les raisons qui ont pu pousser le Sénat dans cette direction tiennent en grande partie à sa posture spécifique dans le champ de la démocratie française. Par ailleurs, l’Assemblée peut aussi faire de ce débat un symbole de sa résistance vis à vis des pressions de l’exécutif : on se souvient en effet de la charte de 2012 du Premier ministre en faveur de l’open data. Seul l’avenir le dira, mais si c’est le cas, il sera intéressant d’observer de quelle définition de l’Open Data/open data elle se dotera.
Crédit photo : « Wash day » par aussiegall (2006 – CC-by).
Citer ce billet : Jonathan Chibois, « Non, le Sénat ne vient pas de prendre le virage de l’Open Data », LASPIC | Carnet [en ligne], 18 décembre 2013, URL : https://laspic.hypotheses.org/2021 (consulté le 4 octobre 2023).
Bonjour,
plusieurs erreurs se sont glissées dans votre description de la plate-forme open data du Sénat. Je me permets de vous les signaler amicalement.
1) Contrairement à ce que vous indiquez, Ameli diffuse déjà ses données sur le site web du Sénat depuis sa création fin 2001 – cf http://www.senat.fr/ameli/aide.html
Ainsi sur une proposition ou un projet de loi, par exemple : http://www.senat.fr/dossier-legislatif/pjl13-071.html on trouve à toutes les lectures et à toutes les étapes (commission et séance publique) un lien vers les amendements (exemple :http://www.senat.fr/amendements/2013-2014/190/accueil.html ). Ces liasses d’amendements sont diffusées et mises à jour sans délai par rapport à la base de données qui va très prochainement être diffusée sur la plate-forme open-data du Sénat. Ce que vous remarquiez sur les autres exports est donc aussi valable pour Ameli : il n’y aura pas de données inédites, car nous diffusons déjà tout sur le site web depuis plusieurs années. L’export sous forme de base de données SQL rend simplement l’exploitation des informations plus simple et plus systématique (du moins pour un informaticien :-) ). Vous noterez que cet export SQL permet au réutilisateur de monter une base de données relationnelle identique à celle que nous utilisons dans notre travail quotidien sans déperdition due à un changement de format.
2) La base « Questions » ne contient pas que les méta-données mais l’intégralité des textes des questions et des réponses en sus de ces méta-données. Pour s’en rendre compte, il faut utiliser l’export complet de la base en SQL, les fichiers CSV n’étant que des exemples d’extraction. La base de données étant volumineuse, nous avons volontairement extrait des fichiers CSV réduits que l’on peut ouvrir sans mettre à genoux Excel ou LibreOffice et qui ne contiennent pas le texte intégral.
3) La base des comptes rendus de séance qui n’est pas encore diffusée en open data, contiendra aussi, en plus des métadonnées, les fichiers intégraux des comptes rendus, sous forme de fichiers « pseudo-XML » qui servent de source à leur exploitation informatique au Sénat. Ces fichiers seront diffusés cependant dans un deuxième temps car nous rencontrons actuellement une difficulté technique.
4) En ce qui concerne les dossier législatifs, l’entrée dans votre tableau est exacte, mais j’aimerais préciser qu’il n’existe pas de base de données « cachée » au Sénat qui contienne les textes intégraux. En interne, nous utilisons le site Internet et son moteur de recherche pour trouver la production documentaire des Sénateurs. Il n’y a donc pas filtrage ici, comme pourrait le laisser entendre une lecture rapide de votre billet.
En espérant que ces éléments d’information pourront vous être utiles,
Sébastien Dubourg, informaticien à la DSI du Sénat.
Merci infiniment Sébastien pour ces précieuses remarques. Elles sont nécessaires pour rectifier factuellement ce qui doit l’être : j’ai édité le billet aujourd’hui sur la base de vos remarques. Elles sont également indispensables pour la recherche scientifique : l’administration parlementaire est un monde difficile d’accès, si bien qu’écrire à son sujet implique toujours un certain nombre de projections hypothétiques. Du coup, un retour, quel qu’il soit, par ce qu’il dit et ce qu’il ne dit pas, est précieux pour faire avancer le raisonnement. :)
Pour ce qui est du fond de vos remarques, je n’ai rien à ajouter si ce n’est qu’effectivement je n’ai pas plongé dans les exports SQL, honte à moi et mea culpa. Toutes mes excuses pour cette approximation. Merci aussi d’avoir soulever un point qui m’avait échappé : il n’est pas en effet pas du tout anodin que les bases de données mises à dispositions soient intègres, et telles que vous les utilisez en interne. Du coup, je me demande pourquoi cette information n’a pas été mise d’avantage en avant… précisément pour noyer les suspicions.
Enfin, il y a cette remarque qui m’intéresse au plus haut point. Je trouve fascinant et très instructif que ce site web public soit aussi un outil interne, que vous n’ayez pas d’interface réservée pour naviguer dans les immenses archives. Ce qui me fait m’interroger sur “qui de l’œuf ou de la poule” : avez-vous découvert le potentiel de cet outil a posteriori (ce qui m’étonnerait), ou avez-vous conçu cet outil à la base dans l’optique de l’utiliser en interne (ce qui aurait été futé) ? Évidemment, la seconde option accréditerait la thèse d’une certaine forme d’opendatawashing aujourd’hui…
Pour tenir compte de vos remarques, j’ai ajouté une entrée dans la FAQ de data.senat.fr ( http://data.senat.fr/faq/ )
D’où viennent les données du site data.senat.fr ?
Merci,
SD
Dur de trouver une base aussi bien documentée. Prévenez-moi quand vous rajouterez les amendements, j’essaierai de produire les mêmes graphiques que pour l’Assemblée nationale :)
Cher Monsieur,
La base Ameli est disponible depuis le 23/12/2013 à l’adresse :
http://data.senat.fr/ameli/
N’hésitez-pas à nous contacter si vous avez des question ( opendata-tech@senat.fr )
Sébastien Dubourg,
Direction des Systèmes d’Information du Sénat
Vous avez dumpé Ameli aussi ! Super. Ça plus NosSénateurs.fr devrait suffire. Merci :)
Sébastien : un grand merci pour vos rectifications, et pour votre plateforme.
Jonathan : fais-moi signe si tu penses qu’en rassemblant tes travaux et mon code, on pourrait faire un article de méthodo. pour French Politics, sur le “legislative data mining” ou qqchose comme ça.
P.S. Pas de souci pour SQL, ça se lit très bien, même chez les non-informaticiens qui préfèrent utiliser un langage comme R :-)
(Et puis c’est plus pratique de faire un checksum sur un seul dump SQL que sur n fichiers CSV trop faciles à endommager avec un tableur à la noix, me dit le nerd qui est en moi.)
Quelques précisions pour vous permettre (?) de répondre à l’aporie de la poule et de l’œuf…
Avant l’ouverture de http://www.senat.fr (1995), il existait des bases sur le travail législatif et de contrôle du Sénat sous le logiciel Minisis.
L’idée du site http://www.senat.fr, dès le démarrage en 1995, comme vous le signalez dans votre article, était de donner le maximum de publicité aux travaux du Sénat. La mise à jour du serveur http://www.senat.fr était à cette époque totalement manuelle (avec l’aide d’un outil de transcodage word>HTML, développé en interne et toujours en activité aujourd’hui).
En 1997 nous avons changés Minisis par AIRS, mais nous n’avons pas réussi à unifier le site web et les bases documentaires, faute d’outil suffisamment mature à l’époque.
En 1998 pour les rapports d’information et en 2000 pour les dossiers législatifs, nous avons développé la base ‘Dosleg’, aujourd’hui diffusée en open data, pour automatiser la publications des documents parlementaires sur le site http://www.senat.fr, en double saisie par rapport aux bases documentaires. Il faut noter qu’à cette époque, pour les rapports, projets et propositions de loi, ainsi que pour les comptes rendus de séance, seul le site Internet permettait un accès simple aux textes intégraux. L’habitude de consulter le site pour l’accès à ces documents s’est probablement installée chez nous à ce moment.
En 2002 et 2003 lorsque nous avons remplacé AIRS par un développement spécifique (moteur de recherche Intituition de Sinequa, base Tamino remplacée par la suite par Oracle), il est apparu que les besoins d’accès spécifiques avaient quasiment disparus et que l’outil Internet répondait à l’essentiel des besoins internes. Dosleg a absorbé les bases « Rapport » et « Legis », la base Questions a été migrée. Bien entendu, il existe des possibilités de recherche internes aux outils de mise à jour des bases. Ces outils de recherche internes sont réservés aux rares personnes qui mettent à jour. Quant à Ameli (gestion des amendements) développée en 2001, cette application a tout de suite intégré l’aspect web.
Notez que l’écrasement des outils internes par les outils publics tient plus du pragmatisme et de l’historique propre des outils informatiques au Sénat que d’une posture philosophique. Nous avons probablement raté le coche en 1997 en choisissant un outil qui est devenu rapidement obsolète du fait de développement de http://www.senat.fr et en 2003, la DSI a trouvé très peu de personnes pour défendre l’approche “bases documentaires”. Il n’est pas dit que nous ne revenions pas un jour à des outils de recherches internes séparés (intégrant notamment l’aspect GED et archivage).
SD
Merci infiniment pour cette précieuse chronologie. Il est effectivement très clair que l’absence d’interface réservée pour accéder aux bases tient moins d’un choix raisonné en haut lieu que d’un « ça c’est fait comme ça ». Ça rejoint moins sentiment que la période 1995-2005 était pour tout le monde (en France) une période de tâtonnement quelques soient les moyens financiers et humains à disposition… vous seriez intéressés pour en parler de vive voix ?