Qu'est-ce que GIFCT?

Ou comment entreprises informatiques et gouvernements tentent de gérer la censure des contenus terroristes en ligne ?

Le web est connu pour avoir quasiment éliminé toute barrière d’entrée à la publication. Auparavant, les obstacles à la publication étaient multiples. Pour le livre il fallait trouver un éditeur, ou au moins réunir de l’argent et trouver un imprimeur, pour diffuser une idée qui aurait, de toute façon, une circulation matériellement assez restreinte. Et de nombreux agents (éditeur, radio, télévision, etc.) jouaient un rôle de filtre permettant d’empêcher assez facilement la circulation des idées les plus « dangereuses ». Ce système avait de nombreux revers, comme de limiter souvent indûment la circulation d’idées qui, jugées dangereuses par les gardiens du temple, n’étaient en réalité qu’excentriques ou originales, quand ce n’est pas tout simplement « en avance sur leur temps ». Mais au moins le système rendait son office sur un point : les idées les plus dangereuses n’accédaient pas facilement à la publication.

Avec le web, elles le peuvent. Le coût de publication y est ramené à un niveau très bas, quand il n’est pas nul, et généralement les compétences et moyens matériels à réunir pour pouvoir publier sont très faibles. Par ailleurs, le système est extrêmement décentralisé : il n’y a plus, si on veut, d’éditeurs contrôlant la porte d’entrée, juste des millions et des millions d’imprimeurs web qui, répartis dans le monde entier, diffusent les contenus qu’on leur envoie. Et le volume de ce qu’on leur envoie est si massif qu’eux-mêmes sont dans l’incapacité de regarder de quel contenu il s’agit. Les contenus extrémistes sont donc désormais diffusés, qu’on le veuille ou non : cette barrière a priori a cédé. Peut-on reconstruire cette barrière a posteriori ? Peut-on repérer les contenus illégaux et indésirables a posteriori et les supprimer ? Idéalement, pourrait-on même remonter cette barrière jusqu’au moment même de la publication plutôt qu’après ?

C’est ce problème que cherche à résoudre, pour les contenus terroristes et de violence extrême, le Global Internet Forum to Counter Terrorism (GIFCT).

GIFCT : comment ça marche ?

Expliquons un peu la technique avant de nous préoccuper des aspects organisationnels. GIFCT est d’abord une base de données : comment fonctionne-t-elle ?

Un partenaire du projet, mettons Facebook, repère sur son propre site une image ou une vidéo à caractère terroriste ou de violence extrême. Facebook va inscrire dans la base GIFCT non pas l’image elle-même, mais son « empreinte numérique » (un hash). Le principe général en est le suivant : prenez une image, transformez chaque pixel en un caractère en fonction de ses caractéristiques. Un pixel entièrement noir devient « 0", le voisin qui est de telle nuance d’orange devient « b », et ainsi de suite. Au final, votre image devient une longue chaîne de caractères : 0bhsf658njknjk, etc. Par contre, si Facebook procédait réellement ainsi il serait facile de contourner l’algorithme : si on modifie ne serait-ce qu’un pixel de l’image, l’empreinte change et mon image n’est plus repérée. Donc l’algorithme, plutôt que de procéder pixel par pixel, extrapole : il vaut mieux prendre par exemple la moyenne de la couleur de carrés adjacents de 8 pixels, plutôt que leurs valeurs individuelles. Cette simplification permet de couvrir mon image en prenant en compte diverses variations possibles (cadrage, couleur, etc.). Évidemment, revers de la médaille, plus on simplifie, plus on augmente en théorie le risque de collisions, c’est-à-dire que deux images distinctes génèrent un hash identique. En pratique, la qualité de l’algorithme permet probablement d’éviter cette situation. Si vous souhaitez en savoir un peu plus sur cet aspect technique, je vous recommande pour démarrer l’article de Wikipedia sur les fonctions de hachage.

Une fois l’empreinte de cette image calculée, Facebook l’inscrit dans la base de données partagée. Un autre réseau social, mettons Twitter, entre dans la danse. Un utilisateur charge la même image sur leur plateforme. Ils calculent de leur côté un hash de l’image en utilisant exactement le même algorithme que celui utilisé par Facebook, constatent que la signature obtenue existe déjà dans la base de données, et peuvent donc flagger cette image dans leur processus interne de modération de contenu.

À l’heure actuelle, la base de données contient environ 300 000 hashes.

Une autre partie de l’action de GIFCT, c’est la création d’un Content Incident Protocol (CIP) qui est un protocole à la fois technique et opérationnel permettant de répondre à une situation de crise. Il a été déclenché pour la première fois en octobre 2019 lors des attentats de Halle en Allemagne. 30 minutes après le début de l’attentat, que son auteur diffusait en direct sur Twitch, le CIP était déclenché : tous les membres du GIFCT, le gouvernement allemand et Europol sont informés du déclenchement, les hashes du stream sont chargés dans la base avec un marquage spécifique permettant une identification plus rapide, un protocole de communication entre les membres du GIFCT est activé pour permettre le partage d’informations sensibles et, encore une fois, améliorer la rapidité de leur intervention. Entre le début de l’attentat et la suppression des contenus, il s’est écoulé une demi-heure.

GIFCT : de qui parle-t-on ?

Les membres fondateurs du GIFCT, en juillet 2017, sont Facebook, Microsoft, Twitter et YouTube. Il s’agit donc d’une initiative privée, portée par les principales entreprises du web qui, confrontées aux mêmes difficultés, partagent informations et expertise.

L’initiative change de nature après les attentats de Christchurch, en Nouvelle-Zélande, en mars 2019. Cette attaque contre deux mosquées fait 51 morts et 50 blessés. Le terroriste a diffusé la première attaque en direct sur Facebook pendant 17 minutes. Deux mois plus tard, est mis en place à Paris, porté par la Nouvelle-Zélande et par la France, l’Appel de Christchurch. De quoi s’agit-il ?

L’appel de Christchurch est un engagement des gouvernements et des entreprises technologiques à éliminer les contenus terroristes et extrémistes violents en ligne. Il repose sur la conviction qu’un Internet libre, ouvert et sécurisé offre des avantages extraordinaires à la société. Le respect de la liberté d’expression est fondamental. Cependant, personne n’a le droit de créer et de partager du contenu terroriste et extrémiste violent en ligne.

Cet engagement est signé initialement par 17 pays et la Commission européenne d’un côté, et de l’autre par 8 entreprises (Amazon, Daily Motion, Facebook, Google, Microsoft, Qwant, Twitter, YouTube). Il n’est pas contraignant et semble donc assez cosmétique… mais ça n’est en réalité pas le cas, car la conséquence directe de cette signature, c’est une refonte du GIFCT.

Celui-ci se structure. Il y a désormais un Operating Board composé d’un représentant pour chaque fondateur, au moins un représentant des entreprises non fondatrices, et le président du Independent Advisory Committee.

Il y a donc aussi un Comité de Conseil Indépendant composé, dit le site :

une minorité de membres issus d’entités gouvernementales et intergouvernementales et une majorité issue de la société civile comprise au sens large comme incluant, entre autres, des groupes de défense, des spécialistes des droits de l’homme, des fondations, des chercheurs et des experts techniques.

Il y a enfin un Forum plus large encore qui se présente comme un espace de débat sur ces sujets.

Bref, les gouvernements poussent le GIFCT à formaliser son fonctionnement et prennent un siège autour de la table. Mais pas, je vais y revenir, en bout de table : GIFCT reste une initiative de l’industrie.

Les réactions dans la presse française à la signature de l’Appel de Christchurch et à l’action du GIFCT sont mitigées. Le Monde, par exemple, dans un article de mai 2019, trouve que ça ne va pas assez loin. Le sous-titre explique que « la plupart des engagements sont consensuels et pour partie déjà respectés par les plus grandes plateformes, et le texte ne dit mot de l’extrême droite violente ». Il mentionne de façon erronée sans citer explicitement le GIFCT que « cette base de données partagée par les géants du numérique a été créée en 2016 sous l’égide de la Commission européenne ». Bref : rien de nouveau et l’article trouve les engagements des plateformes « timides », en particulier face au terrorisme d’extrême droite. Le Monde souhaite une censure plus agressive, même s’il reconnait que c’est un problème complexe :

Le terrorisme d’extrême droite est, en ligne, plus difficile à combattre que le terrorisme islamiste : d’une part, il ne procède pas d’organisations structurées comparables à l’organisation État islamique ou Al-Qaida ; d’autre part, sa matrice idéologique profite de la protection de la liberté d’expression offerte par la Constitution des États-Unis, où siègent les principales plateformes.

L’action du GIFCT est truffée de difficultés, tant de principe, que techniques et opérationnelles.

Qu’est-ce qu’un contenu terroriste ou extrémiste ?

Le live stream du terroriste de Christchurch ne pose pas de question de définition : c’est de toute évidence un contenu terroriste. Il en va de même d’une vidéo de décapitation mise en ligne par ISIS. Mais au-delà de ces cas flagrants, des problèmes de définition se posent très rapidement. Il n’y a en effet pas de définition commune du terrorisme, en tout cas la notion n’est pas définie en droit international. C’est un acte de violence politique, certes, mais est-ce qu’un état, par exemple, serait susceptible de mener une action terroriste, ou bien est-ce par définition impossible ? Faut-il considérer un crime de guerre, par exemple un soldat régulier mitraillant une population dans une zone de guerre, comme une action terroriste ? Comment considérer, classiquement, les « guerres de libération » ? Le FLN de 1958 menait-il des actions terroristes ? Quid des mujāhid afghans des années 1980 ? La définition du terrorisme est un champ de mines. Il existe de nombreuses propositions et réflexions à ce sujet (par exemple Ben Saul, Defining ‘Terrorism’ to Protect Human Rights), mais aucune qui franchisse le seuil d’une définition juridique incontestable.

Il y a aussi le cas de discours non terroristes portés par des terroristes : par exemple un appel à joindre le mouvement en général, mais pas un appel direct à commettre des actes terroristes. Cela revient à censurer non plus directement le message, mais le messager, classé comme terroriste. Mais on ne fait ainsi que déplacer le problème : qui est une « organisation terroriste » ? Et comment couvrir ainsi le cas des terroristes « isolés », qui se revendiquent de l’idéologie d’un groupe, mais n’en sont pas membres à proprement parler ?

Indépendamment de ces problèmes de définition, il y a aussi la question du contexte. La presse peut-elle diffuser une partie de la vidéo ? Un service d’archive peut-il en capter des images ? Un universitaire qui travaille sur le sujet peut-il insérer une image dans un article scientifique diffusé ? Et sait-on faire la différence? Et cetera.

Il n’y a pas de consensus, à ce stade, sur ces questions.

Il y a aussi des questions opérationnelles difficiles à régler. Par exemple, le GIFCT insiste sur le fait que chaque plateforme prend une décision autonome pour signaler un nouveau contenu dans la base et, en cas de match avec un contenu déjà présent dans la base, pour décider ou non de censurer l’image ou la vidéo. Bref, chaque plateforme reste responsable de sa politique de modération de contenu. Mais dans les faits, ce principe est probablement un peu un vœu pieux. Ainsi au moment des attentats de Christchurch, YouTube était tellement submergé de matches avec la base GIFCT qu’ils ont décidé de supprimer temporairement la validation humaine des signalements et juste accepter toutes les suppressions proposées par le système, au risque de censurer, à la marge, des contenus légitimes. GIFCT est aussi utilisé par un grand nombre de services numériques qui n’ont pas les moyens humains de Facebook ou YouTube et qui, par pragmatisme et manque de moyens, vont simplement accepter les signalements de GIFCT sans revue humaine, non pas temporairement, mais en permanence.

Que faire si un contenu légitime est inscrit par accident dans la base de données ? À ce stade, pas grand-chose : GIFCT n’a pas à proprement parler de mécanisme de recours ou d’appel.

Sous-traitance de la censure et transparence

Ce qui me ramène à la question du rôle des gouvernements et de leur position après l’Appel de Christchurch. Je ne suis pas évidemment dans le secret des Dieux, et des historiens futurs analyseront la situation mieux qu’on ne peut le faire aujourd’hui. Mais mon sentiment, c’est que les gouvernements, en réalité, font pression sur les plateformes pour qu’elles élargissent et renforcent leur action de modération de contenu, mais sans que ça passe par une réglementation, une loi et a fortiori par un débat public et démocratique. Ils demandent aux plateformes de censurer à leur place, à titre privé et sans passer par la case judiciaire. En retour, et à condition que les résultats soient là sans doute, les plateformes obtiennent que les gouvernements ne se mêlent pas de la façon dont cette entreprise est menée : les gouvernements sont autour de la table pour surveiller, pas pour piloter et le GIFCT reste une organisation privée, comme le sont le détail de ses méthodes, ses critères de décision et, finalement, une grande partie de son action.

Il y a, de facto, sous-traitance au secteur privé d’une politique de censure, qui permet aux états démocratiques de contourner les problèmes de définition, de règles judiciaires (la connaissance a priori et publique de ce qui est autorisé et interdit, le régime de la preuve, le recours, etc.) qui semblent impossibles à régler par les voies normales… mais sont pourtant celles de l’état de droit. Cette politique concernant directement le terrorisme et l’extrémisme violent, il y a un relatif consensus sur la nécessité de mener cette action, malgré ces « dommages collatéraux ».

Mais écarter la justice du mécanisme de censure touche au cœur des principes démocratiques et la tentation, pour le politique, peut être forte d’utiliser ce mécanisme pour d’autres types de contenus. On a entendu par exemple des appels récents à faire une base de données similaire sur la désinformation autour du Covid. Mais le sujet de la désinformation est encore plus difficile à définir que celui du terrorisme, et les dérives possibles beaucoup plus importantes.

À ce stade les perdants, dans l’affaire, sont le système judiciaire, écarté, et la société civile. Sur ce dernier point, le GIFCT pourrait certainement améliorer son fonctionnement. Le rapport de transparence qu’ils ont publié en juillet 2020 est extrêmement succinct, et ne permet pas vraiment de se faire une idée claire de ce qui se passe. On verra ce que les différentes instances mises en place récemment publient. De mon côté, je suivrais le compte twitter de J.M. Berger, universitaire tout juste nommé au Comité de Conseil Indépendant du GIFCT, qui promet sans se faire beaucoup d’illusion sur l’indépendance réelle de la structure, d’y faire entendre la voix de la société civile. Le thread twitter qu’il a publié à sa nomination fait un très bon résumé des enjeux en cours.

À suivre.