Récemment, ObservatorioBlockchain a été victime d'un grand nombre de visites de robots IA, d'un AI Flood, une situation que notre ancien hébergement n'a pas pu gérer, nous conduisant à être hors ligne pendant quelques jours. Le niveau de visites a été assez massif, en moins de 12 heures, notre site Web a reçu plus de 12 000 visites de robots, ce qui a conduit notre prestataire de services à « supprimer » notre site Web.
Nous avons « résolu » cette première tentative en utilisant Cloudflare, un service que beaucoup connaissent et dont nous parlerons plus tard. Mais nous disons « nous avons résolu », car même avec les protections activées, nous continuons à souffrir des attaques rampantes et de leurs conséquences. Oui, attaque, car la deuxième panne était due à plus de 20 000 visites de robots IA en moins de 10 heures, ce qui est une folie totale, et qui a conduit, pour la deuxième fois, à ce que notre hébergement ferme notre site pour ne pas affecter le reste des clients de ses services.
Les hébergements ne sont pas préparés pour l'ère de l'IA
Et ici notre voyage commence, avec une première leçon : la plupart des hébergements Web ne sont pas préparés pour l’ère de l’IA. L'hébergement est le moyen le plus simple de créer et de faire fonctionner un site Web. Vous louez le service, le configurez et oubliez le reste. Vous n'avez pas besoin de maintenir des serveurs, vous n'avez pas besoin de vous soucier des installations ou de vous battre avec des piles technologiques. C'est « plug and play », c'est pourquoi de nombreuses personnes utilisent ces services pour avoir leurs sites Web sans complications.
Le problème est que le Web a beaucoup changé ces 20 dernières années, et le changement le plus brutal a été celui de l’IA. Il y a 20 ans, votre plus grand souhait était que le robot araignée de Google visite votre site Web afin que vous puissiez apparaître dans le moteur de recherche. À l'époque, si votre site était volumineux et que vous étiez indexé, vous pouviez constater un petit « attraction » sur votre site Web lorsque cela se produisait. Normalement, cela durait quelques minutes, et bientôt vous apparaissiez dans la recherche Google. Le bonheur, votre travail a porté ses fruits et les sociétés d'hébergement ont gagné de l'argent en ayant des clients satisfaits et des sites Web de portée mondiale.
Mais l’IA a tout changé. Leurs robots semblent avoir un problème d’hyperactivité chronique. Non seulement ils visitent votre site Web plusieurs fois par jour, mais ils peuvent également télécharger directement l’intégralité de votre site Web en une seule fois. Ils ne se contentent pas du contenu textuel de votre site Web, ils veulent même que tout le multimédia y soit présent.
Plus de 10 000 robots IA visitent l'Observatoire Blockchain en seulement 24 heures
Le cas d’Arsys
Résultat? Les hébergeurs habitués à un trafic moyen-lourd se retrouvent au milieu d'une avalanche de demandes qui les submergent et pour éviter des problèmes, ils jettent votre site en panne. Tout cela parce qu'ils ne disposent pas des outils nécessaires pour, depuis leurs propres infrastructures, empêcher les IA d'effectuer ces actions, et ainsi aider ceux qui ne veulent pas se compliquer la vie avec des solutions de sécurité externes.
Ce fut notre cas avec Arsys, une entreprise espagnole avec une longue histoire dans le monde de l'hébergement. Blockchain Observatory vit dans les entrailles d’Arsys depuis sa création, mais au milieu de cette avalanche d’IA, le site a été détruit à 3 reprises. Nous sommes un site d'actualités, donc être hors ligne pendant des jours affecte nous et nos lecteurs. Et les solutions d'Arsys à ce problème étaient un copier-coller classique : « Utilisez Cloudflare pour résoudre le problème des attaques de robots » mais l'attaque s'est poursuivie malgré cela. Et ce n’était pas une mince affaire, tous les bots et presque tous les User-Agent (identifiant du navigateur) sont bloqués, mais cela semblait insuffisant.
Peut-être que l'infrastructure Arsys ne peut pas protéger rapidement et efficacement les petits sites contre l'avalanche de l'IA et, par conséquent, nous avons pris la décision de migrer vers un service VPS, d'améliorer nos ressources, d'installer notre propre pile de services et de mesures de sécurité.
Nous remercions Arsys de nous rejoindre dans ce voyage, mais nous faisons également appel à vous : Mettez à jour votre infrastructure et créez des solutions intégrées pour ce type de problèmes, car plus le temps passe, plus la situation s'aggravera, ce qui peut vous faire perdre de nombreux clients, comme cela s'est produit chez nous.
Cloudflare, l'Espagne et la Liga
Une fois que nous avons installé notre VPS et activé notre site web (près de 60 Go d'informations), nous avons pu faire en sorte que tout fonctionne parfaitement, avec des améliorations de sécurité dues à l'utilisation exclusive de solutions telles que Tunnel et WAFs/Zero Trust, de Cloudflare. C'était vendredi dernier (le 6 mars) et nous avons célébré. Jusqu'à ce qu'une autre catastrophe nous frappe.
Si vous êtes un administrateur système en Espagne ou « un geek » comme le dit Javier Tebas Medrano, vous comprendrez que LaLiga semble avoir plein pouvoir sur ce que vous pouvez ou ne pouvez pas voir sur Internet, à la suite de décisions de justice qui lui permettent de filtrer plusieurs IP Cloudflare. Le problème est facile à voir : Si vous interdisez les IP Cloudflare, les sites qui dépendent de ce service deviennent inaccessibles, même s'ils n'ont rien à voir avec le streaming de football.
Qui regarde BossIA : la fin de l’obéissance humaine
Ainsi, grâce au football du week-end, le samedi 7 mars, L'Observatoire Blockchain a été bloqué par les blocages absurdes de LaLiga. J'ai dû résoudre ce problème, et dans l'après-midi, nous avons réussi à trouver un équilibre entre les deux : utiliser Cloudflare et ses mesures de sécurité pour éviter la grande majorité des robots IA professionnels et personnels, et ne pas être bloqués par les geeks de LaLiga et compagnie. Des blocages qui, par exemple, font fermer des sites Web entiers du gouvernement, comme celui d'Aragon. YoOn imagine qu'ils piratent aussi le football.
L'IA et sa gourmandise en données
Une fois que cela est fait, tout le week-end se déroule sans problème. Hormis des ajustements spécifiques à nos mesures de sécurité chez Cloudflare, le site Web fonctionne parfaitement pour WordPress. Et les résultats sont visibles. Chargement Web plus rapide, ressources pour servir nos visiteurs sans problèmes et IA éloignée de notre contenu.
L'ère agentique : un logiciel qui comprend les objectifs et s'exécute sans humains
En fait, au cours des seules dernières 24 heures, nous avons empêché plus de 10 500 robots IA de tenter d’explorer notre site Web. Si nous faisons une moyenne rapide, cela nous place à près de 40 000 à 50 000 visites de robots au cours des 3 derniers jours, sans compter les pics d'IA qui ont conduit au crash de notre site Web. Encore une démonstration de la gourmandise de l’IA, qui d’ailleurs ne leur paye rien, mais vous facture à prix d’or lorsque vous demandez un service.
La mort lente du Web
Le pire, c'est que ce faisant, ils « tuent » l'origine des données, car les sites Web perdent peu à peu des visites à cause de l'IA. Ainsi, un cycle toxique se crée : les IA explorent les contenus sans se soucier de rien d’autre, les sites web sont saturés par les robots et non par les utilisateurs, ces derniers s’étant tournés vers les IA et leur proposition « demande, je réponds ». Dans les médias, les blogs perdent et les sociétés d’IA remplissent leurs poches avec le travail des autres.
Pour cette raison, les mesures de sécurité que nous avons mises en place dans Cloudflare et les statistiques des robots bloqués ne nous dérangent pas. Notre intérêt et notre travail résident dans les personnes qui nous lisent, pas dans un robot IA générant de l'argent avec le travail d'autres personnes, et c'est peut-être quelque chose que de nombreux sites devraient commencer à dupliquer.
Voir l’article original en espagnol
