Optimasi adalah cara agar situs web bisa mendapatkan posisi teratas di halaman hasil pencarian. Semua bisa dicapai apabila situs di-crawling dan terindeks oleh Google. Dalam hal ini, Robots.txt memiliki peran penting sehingga tidak boleh luput dari perhatian.
Seberapa penting Robots.txt dalam implementasi upaya Search Engine Optimization (SEO)? Selengkapnya di artikel ini!
Table of Contents
Mengenal Apa itu Robot.txt dan Fungsinya
Robots.txt adalah file yang berisi instruksi terhadap bot yang akan melakukan crawling situs web. Fungsi utama dari Robots.txt adalah mengatur perintah setiap bot yang akan melakukan crawling situs web. Juga terdapat beberapa fungsi lain, yaitu:
- Membatasi akses crawl bot ke situs web guna menjaga load server
- Mencegah bot dari mesin pencari melakukan crawling konten duplikat
- Menentukan halaman yang mendapatkan izin untuk di-crawling
Cara Membuat atau Setting Robots.txt
Untuk bisa mengatur Robots.txt, ada beberapa cara mudah yang bisa kamu coba, yaitu menggunakan plugin berikut:
Gunakan Plugin All-in-one SEO
Plugin all-in-one SEO pack memungkinkan kamu membuat Robots.txt. Sebenarnya, plugin ini sama seperti Yoast SEO, namun hadir dengan fitur yang lebih lengkap dan menarik. Pilih Feature Manager untuk bisa melihat semua opsi yang tersedia.
Pengguna baru sekalipun bisa menggunakan plugin ini untuk membuat dan mengatur Robots.txt. Bahkan mereka tidak harus menuliskan kode instruksi secara manual. Jadi, akan lebih mudah dalam menulis instruksi, dibandingkan dengan Yoast SEO.
Jika tidak tahu harus mulai darimana untuk bisa mempelajari SEO, manfaatkan panduan belajar SEO untuk pemula.
Coba Yoast SEO
Apabila kamu adalah pengguna WordPress atau pemilik situs yang berbasis WordPress, pembuatan Robots.txt bisa dilakukan melalui YOAST SEO, plugin yang tersedia bagi pengguna WordPress. Cara pembuatan tergolong sederhana dan mudah sehingga siapapun bisa mempelajarinya tanpa harus memiliki kemampuan teknis.
Adapun cara membuat Robots.txt dari Yoast SEO adalah dengan mengakses File Editor yang ada pada opsi Tools WordPress. Bagi yang ingin membuat kode file sendiri, pastikan untuk berhati-hati dan lebih teliti. Mengapa demikian? Kamu harus memastikan kode tidak tumpang tindih dengan kodel file Robots.txt bawaaan dari Yoast SEO.
Sayangnya, plugin SEO satu ini memiliki kelemahan. Pengguna harus secara manual menulis kode perintah, termasuk koden untuk user agent, allow, disallow, dan lainnya.
Baca Juga: 5 Cara Menggunakan SEO Yoast Anti Ribet untuk Pemula
Apakah Robots.txt Penting?
Mungkin kamu bertanya-tanya apakah Robots.txt penting atau tidak. Sebenarnya, semua tergantung kebutuhan dan situs kecil tidak memerlukannya. Dengannya, kamu memiliki kontrol yang lebih terhadap mana yang boleh dan tidak boleh mesin pencari kunjungi.
Adapun alasan untuk memiliki Robots.txt adalah sebagai berikut:
- Mencegah mesin pencari melakukan crawling pada konten duplikat
- Menjaga situs tetap private
- Mencegah terjadinya overload pada server
- Mencegah Google membuang-buang anggaran crawling
- Mencegah file gambar atau video muncul di hasil pencarian
Dimana Harus Meletakkan File Robots.txt
Nah, kamu bisa menempatkan file Robots.txt di root directory subdomain. Misalnya, apabila ingin mengontrol crawling di domain.co.id, maka file tersebut harus bisa diakses di domain.co.id/robots.txt.
Kamu juga bisa menempatkannya sesuai kebutuhan. Apabila ingin mengontrol crawling di subdomain, misalnya blog.domain.id, pastikan file Robots.txt bisa diakses di blog.domain.co.id/robots.txt.
Cara Menemukan Robots.txt yang Error
Salah satu hal yang perlu dipahami adalah kesalahan bisa lolos dengan mudah. Oleh sebab itu, pastikan kamu selalu waspada terhadap kesalahan Robots.txt. Lakukan pemeriksaan rutin di bagian laporan Coverage di Search Console.
URL Terblokir
Salah satu kemungkinan kesalahan yang bisa terjadi adalah terdapat URL pada sitemap yang diblokir oleh Robots.txt. Untuk memeriksa konten yang diblokir, bisa dengan menggunakan Robots.txt tester. Oleh sebab itu, pastikan selalu berhati-hati karena kesalahan yang terjadi dapat memengaruhi halaman bahkan file lain.
Baca juga: Catat 5 Hal tentang VPS, Layanan Hosting untuk Kamu
Konten Diblokir
Saat menemukan informasi yang berisi Blocked by Robots.txt, itu artinya ada konten yang diblokir yang belum terindeks mesin pencari Google. Apabila konten tersebut penting dan harus terindeks Google, kamu tentu harus menghapus blokir tersebut, bukan?
Jika kamu memblokir konten di robots.txt dengan tujuan mengecualikannya dari indeks Google, hapus blok crawling dan gunakan tag meta robots atau x-robots-header sebagai gantinya. Ini merupakan cara untuk menjamin pengecualian konten dari indeks Google.
Konten Terindeks namun Diblokir
Saat menemukan peringatan Terindeks tapi diblokir, itu berarti konten kamu sudah terindeks mesin pencari Google tetapi diblokir oleh Robots.txt.
Bagi kamu yang mencoba mencoba mengecualikan konten tersebut dari hasil penelusuran Google, Robots.txt bukanlah solusi yang tepat. Hapus blok crawl dan gunakan tag meta robots atau header HTTP x-robots-tag untuk mencegah pengindeksan.
Namun, apabila kamu memblokir konten tersebut secara tidak sengaja dan ingin mempertahankannya di indeks Google, hapus blok crawl di Robots.txt. Hal ini dapat membantu meningkatkan visibilitas konten di penelusuran Google.
Tips Menghindari Kesalahan
Untuk bisa menghindari beberapa kesalahan yang mungkin terjadi, kamu bisa mencoba beberapa tips berikut:
- Gunakan garis baru untuk setiap perintah agar tidak membingungkan mesin pencari, kamu bisa menggunakan garis baru sehingga bisa kamu gunakan sebagai cara menghindari kesalahan terutama bagi pemula.
- Gunakan wildcard (*) untuk menyederhanakan instruksi ke semua user agents dan mencocokkan pola URL saat memberikan instruksi
- Hanya gunakan masing-masing user agent sekali
- Tentukan akhir URL menggunakan “$”
- Manfaatkan komentar untuk menjelaskan file kepada manusia
- Gunakan file robots.txt terpisah untuk masing-masing subdomain
Beberapa Istilah yang Harus Diketahui
Saat membuat hingga mengatur Robots.txt, terdapat beberapa istilah yang perlu kamu ketahui, yaitu:
- User agent: Bertugas mendeskripsikan bot yang mempunyai izin crawling pada situs web
- Sitemap: Memberikan informasi lokasi sitemap situs web agar user agent bisa mengakses dan melakukan crawling
- Allow: Instruksi yang memberikan izin kepada user agent untuk melakukan proses crawling suatu halaman situs web
- Disallow: Kebalikan dari allow, yaitu instruksi yang tidak memberikan izin pada user agent untuk dapat melakukan proses crawling situs web atau halaman web
FAQ
Saat mempelajari Robots.txt, biasanya ada banyak pertanyaan umum yang sering orang-orang tanyakan guna mendapatkan jawaban atas apa yang muncul di kepala mereka. Pertanyaan-pertanyaan tersebut juga dapat membantu kamu mendapatkan informasi terkait sehingga bisa lebih memahami Robots.txt.
- Berapa ukuran maksimum file Robots.txt? Jawabannya adalah 500 kilobytes
- Dimana bisa menemukan file Robots.txt di CMS WordPress? Kamu bisa menemukannya di tempat yang sama, yaitu domain.co.id/robots.txt
- Bagaimana cara mengatur dan mengedit Robots.txt di WordPress? Kamu bisa menggunakan beberapa plugin seperti Yoast SEO atau all in one SEO
Meski tampak sederhana, tetapi Robots.txt merupakan file yang begitu kuat. Sebagai pengguna, tentu kamu harus menggunakannya dengan bijak. Hal tersebut dapat memberikan dampak positif pada upaya SEO yang kamu lakukan. Sebaliknya, apabila digunakan sembarangan dan tidak hati-hati, bukan tidak mungkin kesalahan tersebut membawa dampak buruk bagi optimasi situs web kamu.
Khawatir tidak bisa menggunakannya dengan bijak? SEO memerlukan ketelitian dan kesabaran agar mendapatkan hasil yang sesuai harapan. Untuk mendapatkan hasil terbaik, kamu bisa memilih jasa SEO Malang terbaik dari Optimaise.
