Kerugian yang ditimbulkan pada Google akibat permintaan otomatis beberapa juta kata kunci per minggu oleh alat SEO mencapai jutaan.
Akhir dari sebuah industri?
Sejak toolbox Sistrix diperkenalkan lebih dari empat tahun yang lalu, model bisnis “Google scraping” telah mengalami kehebohan. Dalam beberapa tahun terakhir, sejumlah startup telah didirikan yang menawarkan alat optimasi mesin pencari. Beberapa dari startup SEO ini telah menerima modal ventura beberapa juta karena model bisnisnya mudah diukur dan menjanjikan pendapatan yang stabil dengan margin keuntungan yang tinggi melalui biaya penggunaan bulanan.
Selain serangkaian data yang dikumpulkan sendiri, alat ini menawarkan satu hal terpenting: ikhtisar peringkat Google untuk situs Anda dan, yang lebih penting, peringkat pesaing Anda. Meskipun Anda selalu dapat memeriksa sendiri peringkat masing-masing istilah pencarian di Google, penyedia seperti Sistrix (www.sistrix.de), SEOlitik, Metrik Penelusuran (www.searchmetrics.com) dan Co. ikhtisar peringkat saat ini dan historis untuk beberapa juta istilah pencarian yang tersedia kapan saja.
Pelanggaran Persyaratan Layanan Google
Untuk mengumpulkan data peringkat ini, penyedia secara otomatis mengirimkan beberapa juta permintaan pencarian ke Google setiap minggunya dan menyimpan hasil pencarian yang disediakan oleh Google dalam database.
Di miliknya Syarat Penggunaan Buka pemberitahuan Google tentang Layanan kapal laut Abfrage otomatis ini. Anda secara khusus setuju untuk tidak mengakses (atau mencoba mengakses) Layanan apa pun dengan cara otomatis apa pun (termasuk penggunaan skrip atau perayap web) dan akan memastikan bahwa Anda mematuhi instruksi yang terdapat dalam file robots.txt apa pun yang ada di Layanan .”
Google kini menggeneralisasi pernyataan tersebut: “Jangan gunakan layanan kami dengan cara yang melecehkan. Misalnya, Anda tidak berwenang (…) untuk mengakses layanan dengan cara apa pun selain melalui antarmuka pengguna yang disediakan oleh Google dan sesuai dengan spesifikasi trik teknis kami. Vendor alat kemudian menggunakan banyak tindakan pencegahan untuk melewati blok ini.
Kerugian jutaan untuk Google
Google mengoperasikan lebih dari satu juta server untuk memberikan jawaban yang diinginkan penggunanya dalam waktu sepersekian detik. Google mengambil nomor pasti per permintaan pencarian BBC sekitar dua belas sen. Hanya jika kueri dibuat oleh pengguna sebenarnya, karena hanya ini yang menarik bagi pelanggan periklanan Google.
Kueri otomatis oleh alat SEO menimbulkan biaya yang sama di pihak Google seperti kueri penelusuran sebenarnya, tanpa pendapatan iklan yang sesuai. Meskipun Google tidak menawarkan cara lain untuk mengakses data, Microsoft Bing menawarkan opsi untuk menggunakan API.
Pada varian termurah, 0,0015306 euro dibayarkan per permintaan pencarian dengan sepuluh hasil pencarian. Sebagai aturan praktis, alat SEO mengevaluasi 100 hasil pertama untuk setiap istilah pencarian, yang sesuai dengan sepuluh kueri. Sistrix, misalnya, mengatakan pihaknya mengevaluasi satu juta istilah penelusuran “pendek” setiap minggunya dan sepuluh juta istilah penelusuran “panjang” setiap bulannya.
Jika Sistrix membayar Google dengan harga yang sama untuk akses data, maka biaya tahunannya akan mencapai sekitar 2,6 juta euro. ((1.000.000 * 10 * 52 + 10.000.000 * 10 * 12) * €0,0015306 = €2.632.632). Mungkin lebih dari itu dalam kasus Searchmetrics, yang beriklan dengan “lebih dari 100 juta kata kunci (dipantau)”.
Google sedang menyerang
Sejauh ini, Google tampaknya telah menoleransi pertanyaan tersebut dan hanya mempersulitnya dengan beberapa perlindungan teknis. Namun, saat ini semakin banyak tanda-tanda bahwa Google tidak akan lagi menerima penggunaan datanya yang tidak sah.
Hanya dalam waktu seminggu, pemasok Gagak, SEOmoz Dan Ahrefs diminta oleh Google untuk tidak mengambil atau menggunakan data yang dihapus: “Harap berhenti menawarkan produk atau fitur produk apa pun yang mengumpulkan data yang dihapus atau menggunakan data yang dihapus” (Itu).
Kesamaan yang dimiliki ketiga penyedia tersebut adalah, selain data yang diambil oleh Google tanpa izin, mereka juga menggunakan data dari AdWords API resmi Google. Google kini menggunakan akses ke AdWords API ini sebagai pengaruh untuk memaksa diakhirinya Google scraping.
Akhir dari sebuah industri
Alat SEO lainnya tidak memerlukan penggunaan AdWords API, sehingga tekanan untuk tidak ikut serta dalam API tidak berfungsi di sini. Hasilnya, bos Searchmetrics Marcus Tober, misalnya, tidak melihat ada masalah pada produknya karena “perusahaannya tidak menggunakan data dari Google API, sehingga Searchmetrics tidak dapat mencabut akses tersebut” (golem.de).
Namun, asumsi bahwa Sistrix, SEOlytics, Searchmetrics & Co tidak terpengaruh oleh perubahan tarif Google dan merasa aman adalah menyesatkan. Bukan suatu kebetulan bahwa Google baru-baru ini mengubah ketentuan penggunaan API AdWords sedemikian rupa sehingga akses API kini dapat digunakan sebagai pengaruh terhadap penyedia alat SEO.
Sebaliknya, hal ini dapat diartikan sebagai langkah pertama di mana Google memberikan kesempatan kepada penyedia layanan untuk secara sukarela setuju untuk mematuhi persyaratan penggunaannya. Pada langkah kedua, Google mungkin mencoba mengambil tindakan hukum terhadap semua penyedia yang tidak bersedia mengesampingkan penghapusan. Paling-paling, Sistrix, SEOlytics, Searchmetrics, dan Co akan menerima permintaan ramah untuk menghentikan produk mereka. Jika tidak, Google dapat menuntut ganti rugi jutaan dolar. Ini berarti akhir dari model bisnis seluruh industri.