Cara Menggunakan Robots.txt

Apa itu File Robots.txt

File robots.txt dibahas sebanyak beberapa kali dalam pedoman Google Webmaster, ini menunjukan bahwa bagian ini adalah sesuatu yang penting bagi mereka dalam menjelajahi website anda (Jika anda menyewa jasa pembuatan website, pastikan mereka juga mengetahui pentingnya bagian ini)

Baca: Strategi SEO tahun 2018, ketahui cara dominasi google 2018 nanti

Anda dapat mengontrol bagaimana mesin pencari seperti google berinteraksi dengan halaman website anda menggunakan file robots.txt. Isi dari file ini nantinya akan memberitahu crawler mesin pencari bagaimana seharusnya mereka mengunjungi website anda.

robots-txt

Jika anda ingin mesin pencari tidak mengindeks sebagian dari file website anda, maka anda bisa menggunakan file robots.txt untuk melakukannya. Anda juga bisa mengatur apa saja yang bisa dijelajahi oleh mesin pencari di website anda.

Pada dasarnya file robots.txt adalah file yang sangat sederhana yang diletakan di server website anda. File ini harus diletakan di root folder, contoh:

www.websiteanda.com/robots.txt

Jika anda ingin melihat file robots.txt website tertentu, anda bisa mengetikan alamat website tersebut ditambah tulisan “robots.txt” di address bar browser anda. Sebagai contoh, anda bisa melihat robots.txt dari dari website kami ini di

http://www.seoblank.com/robots.txt

Sebenarnya, Apa fungsi robots.txt ini?

File robots.txt ini sebenarnya berfungsi untuk memberikan intruksi tertentu kepada mesin pencari ketika mereka mencoba menjelajahi website anda.

Ketika mesin pencari seperti google ingin menjelajahi website anda, maka file yang pertama kali dijelajahi adalah file robots.txt.  Dengan mengunjungi robots.txt ini, mesin pencari menjadi tahu apa yang harus mereka lakukan. Menjelajahi seluruh website anda secara keseluruhan, sebagian atau tidak sama sekali.

Masalah yang paling umum dari file robots.txt ini adalah jarang sekali para pemula mengetahui bagaimana cara menggunakan robots.txt ini. Padahal file ini sangat besar pengaruhnya pada SEO website yang anda lakukan.

Sebenarnya, jika anda bisa membuat halaman website, maka anda pasti juga bisa membuat file robots.txt ini. Anda bisa membuatnya menggunakan notepad, WordPad atau Editor lainnya. Bahkan, anda juga bisa menungunjungi website tertentu dan kemudian mengcopy file robots.txt mereka dan paste di website anda, tentunya dengan beberapa penyesuaian.

Lalu, apa yang harus anda buat di file robots.txt?

Jawabannya adalah tergantung pada keinginan anda. Kebanyakan orang, ingin mesin pencari mengunjungi semua file yang terdapat di website mereka.

Nah, jika anda ingin mesin pencari ingin mengunjungi seluruh bagian dari website anda, maka anda bisa menggunakan salah satu dari 3 cara menggunakan robots.txt dibawah ini:

1. Tidak memiliki file robots.txt sama sekali

Jika website anda sama sekali tidak memiliki file robots.txt, maka mesin pencari akan mencrawler atau menjelajahi seluruh bagian dari website anda tanpa batasan.

2. Membuat file kosong yang diberi nama dengan robots.txt

Hampir sama dengan kasus pertama, jika robot mesin pencari mengcrawler website anda, maka mereka akan mengcrawler seluruh bagian dari website anda tanpa batas.

3. Membuat file robots.txt dan kemudian menulis kode berikut

Jika anda membuat file robots.txt dan kemudian menuliskan kode berikut ini maka mesin pencari juga akan mengunjungi website anda secara bebas, karena tidak satu kode pun yang memerintahkan untuk tidak mengunjungi bagian tertentu.

Kode tersebut adalah:

User-agent: *
Disallow:

Berikut ini adalah penjelasan terhadap 2 kata yang terdapat dalam file robots.txt diatas

User-agent:

“User-agent” , merupakan bagian yang digunakan untuk menentukan apa yang dilakukan robot mesin pencari di website anda. Ada 2 cara menggunakan bagian ini

Jika anda ingin menginformasikan semua halaman kepada robot, maka anda bisa menambahkan simbol “*” setelah kata “User-agent”. Lihat kode dibawah ini

User-agent:*

Bagi kode ini mengintruksikan kepada robot mesin pencari untuk menjelajahi seluruh bagian dari website anda. Jika anda ingin lebih spesifik anda bisa menambahkan nama robot dari mesin pencari seperti dibawah ini

User-agent: Googlebot

Disallow

Dissalow digunakan ketika anda ingin menghalangi robot mesin pencari untuk mengcrawler bagian tertentu dari website anda.

Misalnya anda ingin menghalangi robot mesin pencari untuk menjelajahi dan mengindeks gambar anda, maka anda dapat menembatkan gambar anda disalah satu folder dan menghalangi mesin pencari untuk menjelajahinya.

Misalnya anda meletakan gambar anda di folder yang anda beri nama “Gambar”, selanjutnya anda bisa memberitahu mesin pencari untuk tidak mengindeks folder tersebut.

Berikut ini adalah tulisan yang bisa anda buat di file robots.txt :

User-agent: *
Disallow: /Gambar

Dengan menggunakan baris kode diatas, anda bisa menghalangi mesin pencari untuk mengunjungi folder anda. “User-agent: *” menginstruksikan bahwa instruksi ini berlaku untuk semua robot.
Petunjuk Khusus untuk Googlebot

Robot yang digunakan untuk menjelajahi dan mengindeks halaman website anda disebut dengan Googlebot.  Ada beberapa instruksi lain terkait dengan robot google ini. Diantaranya adalah:

Allow

Allow berarti memungkinkan mesin pencari untuk menjelajahi dan mengindeks folder atau isi folder yang sebelumnya sudah kita kecualikan untuk tidak di indeks.

Seperti contoh sebelumnya, kita sudah membuat kode yang digunakan supaya mesin pencari tidak mengindeksnya:

User-agent: *
Disallow: /Gambar

Nah, jika anda ingin mesin pencari bisa mengideks salah satu gambar yang terdapat pada folder Gambar, anda bisa menggunakan kode berikut ini di file robots.txt berikut ini:

User-agent: *
Disallow: /gambar
Allow: /gambar/logo-seoblank.png

Dengan menggunakan kode diatas, akan memberitahukan kepada mesin pencari untuk mengunjungi “logo-seoblank.png”, walaupun sebelumnya folder Gambar sudah dikecualikan untuk tidak di indek.

Penting!!
Jika anda menggunakan file robots.txt, pastikan anda sudah menulisnya dengan benar, karena jika anda membuat kesalahan, dapat memlokir bot mesin pencari untuk mengunjungi website anda.

Oke. Mudah-mudahan tulisan singkat ini bisa memberikan informasi berguna terkait dengan cara menggunakan robots.txt di website anda. Jangan lupa baca tulisan kami yang satu ini

Baca: Penulis Artikel SEO Bahasa Indonesia

Jika anda masih bingung, silahkan berikan pertanyaan anda dikotak komentar. Dan jangan lupa untuk berbagi dengan teman-teman anda yang lain.

Terima kasih

Leave a Reply

Your email address will not be published. Required fields are marked *