Pola Scraper Web di Era AI: 6.881 Request dari 187 IP
Perubahan arah dari kamus menjadi riset dan benchmark oleh ibahasa.com tidak terlepas dari lonjakan trafik yang mencurigakan. Sebuah log server pada 18 Agustus 2026 mencatat 6.881 request dalam rentang waktu 45 menit, yang memicu penyelidikan lebih lanjut.
Trafik Menuju Halaman Kata Umum
Dari total request yang terjadi, 77,6% menuju halaman /kata, sementara /riset dan /benchmark hanya menerima sedikit permintaan. Dengan pola yang terstruktur, scraper mengarahkan request ke halaman indeks abjad, memungkinkan mereka untuk mengumpulkan data kamus secara sistematis tanpa harus mencari kata tertentu.
Scraper Mengaku Sebagai Googlebot
Dalam analisis yang dilakukan, ditemukan bahwa beberapa scraper bahkan berpura-pura sebagai Googlebot, untuk mengelabui sistem dan mendapatkan akses tanpa hambatan. Meskipun identitas asli bot sulit dipastikan, bot palsu ini berhasil melewati beberapa filter yang umumnya diterapkan pada crawler.
Pentingnya memeriksa log server secara berkala adalah untuk memantau pola trafik yang tidak wajar. Scraper seringkali meninggalkan jejak yang teratur dan sistematis, sehingga dengan membandingkan jumlah request, alamat IP, dan User-Agent, kita dapat mengidentifikasi aktivitas yang mencurigakan.
Jangan tergesa-gesa percaya pada informasi yang diberikan oleh User-Agent yang mengaku sebagai Googlebot. Periksa juga laju request yang datang dari berbagai alamat IP, karena seringkali scraper menggunakan layanan proksi terdistribusi untuk menyamar sebagai pengunjung biasa.
Melalui analisis log server dari ibahasa.com, mereka berhasil mengidentifikasi pola scraper dan menyoroti pentingnya memeriksa secara rutin untuk mencegah aktivitas yang merugikan. Pada seri berikutnya, akan dibahas lebih lanjut mengenai cara memeriksa keaslian Googlebot dengan menggunakan perintah host.
