Cara Membedakan Googlebot Asli dari Palsu
Pada posting sebelumnya, terungkap bahwa ibahasa.com mengalami serangan scraper yang menyamar sebagai Googlebot. Seiring dengan hal tersebut, sekarang akan diuraikan bagaimana caranya memeriksa keaslian Googlebot dan membedakannya dari bot palsu.
Periksa DNS, Bukan User-Agent
Salah satu alasan para bot mengaku sebagai Googlebot adalah untuk mendapatkan perlakuan khusus dari situs-situs tertentu. Namun, cara terbaik untuk memverifikasi Googlebot bukanlah melalui User-Agent, melainkan melalui DNS.
User-Agent hanyalah klaim yang dapat dimanipulasi, sementara cek DNS dua arah merupakan cara yang paling efektif untuk memastikan keaslian Googlebot. Dengan mencari nama domain balik dari IP yang mengaku sebagai Googlebot dan memeriksa kembali IP dari nama domain tersebut, kita dapat mengetahui apakah bot tersebut asli atau palsu.
Cara Lainnya untuk Memverifikasi Googlebot
Selain menggunakan DNS, terdapat beberapa cara lain untuk memverifikasi Googlebot asli. Proyek open source seperti plugin SearchBot detector untuk server Traefik dan nginx-block-fake-googlebot untuk server Nginx dapat membantu dalam mendeteksi bot palsu dengan cara yang lebih efisien.
Contoh nyata dari perbandingan Googlebot asli dan palsu menunjukkan bahwa dari 108 IP yang mengaku sebagai Googlebot, hanya satu di antaranya adalah benar-benar dari Google. Hal ini menekankan pentingnya melakukan verifikasi yang cermat terhadap bot yang mengunjungi situs.
Secara umum, interval waktu yang terlalu rata dan penggunaan IP yang berubah setiap permintaan dapat menjadi tanda-tanda kecurigaan terhadap bot palsu. Maka dari itu, penting untuk melakukan pemeriksaan terhadap Googlebot yang mengunjungi situs untuk mencegah serangan yang merugikan.
