Un entusiasta del autoalojamiento planea trasladar su trabajo de fotografía de la web a fanzines físicos para escapar de la realidad 'deprimente' de los rastreadores de IA corporativos. El autor informa que estos rastreadores, provenientes de grandes proveedores de la nube como Azure y Alibaba, han saturado su ancho de banda de subida doméstico para alimentar datos en modelos de lenguaje de gran tamaño (LLMs).
El impacto de los rastreadores de LLM
El autor describe un cambio en la experiencia del autoalojamiento, pasando del placer de aprender la gestión de sistemas a la frustración de lidiar con los 'Rastreadores de LLM'. Estos sistemas automatizados golpean el sitio del autor para recopilar datos para el entrenamiento de IA, a menudo saturando la capacidad de subida de la red doméstica.
Si bien algunos rastreadores utilizan rangos de IP residenciales a través de SDKs —los cuales son más difíciles de bloquear sin afectar a los usuarios reales—, la mayoría del tráfico problemático se originó en un pequeño número de rangos de IP /16 asignados por grandes nubes.
“No quiero que mi tiempo se gaste en algo que termine alimentando a esa máquina.”
— Running web sites makes me not want to - Lowkey Party
Esfuerzos de mitigación técnica
Para defenderse de este tráfico, el autor utilizó `nftables` y `nft-blackhole` para descartar conexiones de rangos de IP conocidos de proveedores de la nube. Estas herramientas permiten un filtrado granular del tráfico de red a nivel de firewall.
A pesar de estos esfuerzos, el autor señala que el volumen masivo de rastreo 'legal' hace que sea difícil mantener un sitio web sin contar con habilidades técnicas de alto nivel o pagar a una gran corporación para que proporcione una Red de Entrega de Contenidos (CDN).
El cambio hacia los medios físicos
Debido al 'exceso de alcance tecnológico corporativo', el autor está considerando eliminar por completo su sitio web de fotografía. El objetivo es hacer la transición a la venta de fanzines físicos, asegurando que el trabajo permanezca en el mundo físico en lugar de alimentar a una máquina que produce 'pobres imitaciones de la creatividad'.
Este movimiento representa una compensación: si bien requiere más trabajo manual para producir y distribuir bienes físicos, elimina la carga de defenderse contra la recolección automatizada de datos. El autor ve esto como un 'lado positivo' del estado actual de la web.
Qué dicen los lectores de Hacker News
- Nota técnica: Un comentarista sugirió usar un CDN para servir páginas mayormente estáticas y almacenar en caché el contenido dinámico en el lado del servidor para gestionar la carga. comentario ↗
- Nota técnica: Otro usuario recomendó usar el soporte de firewall para descartar el tráfico de las IPs después de que hayan sido alimentadas con contenido 'venenoso', mientras aconsejaba evitar la configuración de tráfico en la salida para evitar agotar los trabajadores. comentario ↗
- Escéptico: Un comentarista argumentó que es poco realista esperar que un sitio web nunca reciba tráfico de bots y sugirió usar listas de bloqueo simples proporcionadas por proveedores de la nube en su lugar. comentario ↗
- Alternativa: Un comentarista compartió la perspectiva de que permitir que los bots rastreen su blog podría ser beneficioso, ya que podría sesgar el entrenamiento de la IA hacia sus opiniones específicas. comentario ↗
Resumen de opiniones del hilo de Hacker News; no son hechos verificados. Leer el debate completo ↗