Patrząc na statystyki tego forum, zauważyłem niesamowity wzrost wejść. W ciągu 8 dni było ponad 480 tyś. odsłon, co wydało mi się bardzo nienaturalne, bo normalny ruch w takim okresie to mniej więcej 2 tyś. odwiedzających. Postanowiłem zainteresować się tym i odkryłem w logach, że za ten ruch jest odpowiedzialny GPTBot, który przez te 8 dni dosłownie co 1 sekundę odczytywał strony forum. Na stronie z informacjami o tym robocie, można przeczytać, że GPTBot ma służyć do indeksowania treści, które mogą być wykorzystane do trenowania generatywnych modeli bazowych sztucznej inteligencji AI.
Co ciekawe, to aktualnie na tym forum jest 161 wiadomości, czyli przy 480 tyś. wejść w ciągu 8 dni, można przyjąć, że każdą wiadomość GPTBot przeczytał ponad 2981 razy. Odczyt 161 wiadomości, przy wejściach co 1 sekundę, trwa 3 minuty.
wejscia-GPTbot.gif
Co jeszcze ciekawsze, to na innym forum, na którym jest około 1200 wiadomości, miałem to samo, w ciągu ostatnich 16 dni ponad 1 mln odsłon wygenerował GPTBot, a normalny ruch w tym okresie to mniej więcej 40-50 tyś. Czyli każda wiadomości została odczytana ponad 830 razy.
Czy GPTBot nie ma rozumu? A może stracił pamięć? Po co odczytywać tysiące razy to samo w ciągu kilku dni? Czy bot AI może uznać określoną stronę za zagrożenie i po prostu ją atakować? A może AI po "wyssaniu" wszystkich informacji ze strony, uznaje stronę za niepotrzebną, bo ma wszystkie informacje w swoim "mózgu" i może już je przedstawiać jako własne. A strona w całości "wyssana" jest np. obciążana dużym ruchem, aby generować koszty i zmusić do rezygnacji.
Czy więc należy blokować boty sztucznej inteligencji AI? Czy są one zagrożeniem dla twórców treści w Internecie?
Jak zablokować GPTBot
1 metoda - blokada w pliku robots.txt, dodajemy poniższe linie:
User-agent: GPTBot
Disallow: /
Roboty powinny respektować zalecenia umieszczone w tym pliku.
2 metoda - blokowanie w pliku .htaccess, dodajemy poniższe linie:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC]
RewriteRule .* – [F,L]
Ta metoda jest pewniejsza, bo GPTBot nie będzie miał dostępu do strony, otrzyma komunikat "403 Forbidden".
Ja zrobiłem tak, że dodałem wpis w pliku "robots.txt", ale z tego co widzę, to GPTBot (20.171.207.38) nadal wchodzi na forum, dzisiaj do 12:15 jest już ponad 37 tyś. wejść. Tak więc, będę musiał niestety, prawdopodobnie zastosować rozwiązanie z blokadą dostępu "403 Forbidden", a chciałem tego uniknąć.