La presència de bots a internet és una realitat que cada any adquireix més rellevància. Segons diversos estudis, entre un 40% i un 50% del trànsit web global pot ser generat per bots, amb una part significativa d’ells classificada com a maliciosa. Aquests bots inclouen des de crawlers legítims que indexen contingut per a motors de cerca, fins a scrapers massius que copien informació sense permís, bots de força bruta que intenten vulnerar comptes d’usuari, o trànsit automatitzat que té com a únic objectiu saturar els recursos d’un servidor.
Per a les empreses que gestionen aplicacions web al núvol, això suposa reptes concrets en matèria de rendiment, disponibilitat i seguretat. Els bots consumeixen CPU, memòria i amplada de banda, poden alterar mètriques analítiques (per exemple, inflant visites o esdeveniments) i arriben a bloquejar recursos legítims quan es combinen amb atacs distribuïts (DDoS). Davant d’aquest panorama, és imprescindible dissenyar una estratègia de mitigació.
Cal destacar que no hi ha una solució única vàlida per a tots els casos: cada aplicació té patrons de trànsit i necessitats específiques. Les mesures s’han d’escollir i combinar en funció de l’anàlisi prèvia, i ajustar-se amb el temps a mesura que els bots evolucionen. En aquest article, agrupem les estratègies en tres àmbits principals: tècniques bàsiques del webmaster, serveis externs, i solucions a mida.
1. Mesures bàsiques per al webmaster
Els administradors d’un lloc web disposen de mecanismes nadius del servidor o del protocol HTTP per reduir l’impacte dels bots.
-
robots.txt
El fitxer robots.txt és el primer recurs que consulta qualsevol crawler legítim. Permet indicar quines seccions no són indexables, establir un crawl-delay o restringir l’accés a continguts concrets. Encara que no és un mecanisme de seguretat real, pot reduir la càrrega innecessària causada pels indexadors respectuosos. No obstant, bots maliciosos tendeixen a ignorar-lo completament. -
User-Agent filtering
Mitjançant .htaccess a Apache o directives similars a Nginx, es poden crear regles que deneguin o limitin l’accés segons el camp User-Agent. És una tècnica senzilla, però eficaç, contra bots que no intenten amagar la seva identitat. Tanmateix, els actors més sofisticats poden falsificar aquest valor per semblar trànsit legítim (per exemple, fingint ser Googlebot). -
Rate limiting i control d’IP
Configurar limitadors de velocitat (per exemple, amb mod_evasive a Apache o mòduls natius a Nginx) ajuda a frenar bots que realitzen un volum excessiu de peticions en poc temps. A més, el bloqueig o llistat negre d’IP pot ser útil, encara que resulta ineficient quan els bots utilitzen xarxes distribuïdes (proxies o botnets).
Aquest conjunt de mesures té un cost baix i és fàcilment aplicable, però ofereix una protecció limitada davant d’amenaces avançades. Per això, sovint es complementa amb serveis externs.
2. Ús de serveis externs especialitzats
Quan la disponibilitat i el rendiment són crítics, les empreses recorren a serveis de seguretat i optimització externs que ofereixen una capa addicional abans que el trànsit arribi als servidors.
-
Cloudflare, Akamai, Bunny.net i similars
Aquests proveïdors actuen com a reverse proxy i permeten aplicar polítiques avançades de seguretat. El seu Web Application Firewall (WAF) filtra trànsit sospitós basant-se en signatures, reputació d’IP i heurístiques globals. A més, les seves capacitats anti-DDoS són especialment valuoses per aturar atacs massius que saturarien un entorn on-premise. -
Bot Management i Threat Intelligence
Molts d’aquests serveis ofereixen mòduls específics de gestió de bots que poden identificar trànsit automatitzat mitjançant fingerprinting del navegador, JavaScript challenges o verificació de comportament. Aquesta intel·ligència col·lectiva és un gran avantatge: si un bot és detectat en un altre lloc, el sistema pot bloquejar-lo automàticament a tota la seva xarxa de clients. -
CDN amb protecció integrada
Les xarxes de distribució de continguts (CDN) no només milloren el temps de resposta mitjançant caché geogràfica, sinó que també redueixen la càrrega sobre l’origen actuant com a primer filtre de trànsit. Això significa que gran part del trànsit maliciós pot ser aturat abans d’arribar al backend.
Aquest enfocament redueix la pressió sobre la infraestructura pròpia i proporciona escalabilitat immediata, encara que implica dependència d’un tercer i un cost recurrent.
3. Solucions a mida
Per a organitzacions que volen mantenir control total i independència de proveïdors, existeix l’opció de desplegar eines de codi obert i construir sistemes adaptats.
-
Anubis
És una solució flexible que permet definir regles personalitzades per monitoritzar i bloquejar trànsit sospitós. Ofereix opcions de logging detallat i es pot integrar amb sistemes externs per automatitzar respostes davant patrons concrets. -
Integració amb SIEM i observabilitat
Les dades dels accessos poden enviar-se a plataformes com ELK Stack, Loki o Splunk, que permeten analitzar patrons i detectar anomalies. Això facilita implementar fluxos d’alerta i resposta automàtica (SOAR), millorant la resiliència davant noves tipologies de bots. -
Machine learning aplicat a trànsit HTTP
Algunes organitzacions experimenten amb models d’aprenentatge supervisat i no supervisat per identificar trànsit sospitós basant-se en característiques com la freqüència de peticions, distribució geogràfica, o combinacions de capçaleres HTTP. Tot i ser un camp emergent, pot oferir avantatges diferencials en entorns on els bots són especialment persistents.
Aquest tipus de solucions requereixen experiència tècnica i recursos de manteniment, però aporten flexibilitat, independència i capacitat d’adaptació contínua.
La importància de combinar estratègies
Cap d’aquestes categories, per si sola, ofereix una defensa completa. Els bots evolucionen constantment i són capaços d’imitar trànsit humà amb cada vegada més realisme. La millor pràctica sol ser una estratègia híbrida, que combini:
- Mesures bàsiques al nivell del servidor.
- Una capa de protecció externa per descarregar volum i aprofitar intel·ligència global.
- Solucions a mida per cobrir casos particulars o exigències específiques del negoci.
Alhora, és fonamental establir un procés continu d’anàlisi de trànsit i revisió de polítiques. El que avui funciona, potser demà ja no serà efectiu. Monitoritzar mètriques com pics de CPU, increments sobtats en peticions per segon o patrons geogràfics inusuals és clau per ajustar la defensa.
En definitiva, la gestió de bots no és una tasca puntual, sinó un repte dinàmic i continu. Adoptar una estratègia multicapa, basada en el coneixement del propi entorn i en la combinació de mesures complementàries, és la millor manera de garantir que les aplicacions web es mantinguin disponibles, eficients i segures en un entorn cada cop més automatitzat.
