Bagaimana cara menambahkan file robots.txt khusus di Blogger 2022

Blogger selalu memiliki file robots.txt default. Dan Blogger memiliki fitur untuk menyesuaikan file robots.txt dan itu adalah Custom Robots.txt. Dalam tutorial ini, saya akan membahas pentingnya robots.txt kustom dan juga bagaimana Anda dapat menambahkan robots.txt kustom di Blogger BlogSpot .

Apa itu file Robots.txt?

Robots.txt adalah file teks sederhana dengan beberapa baris kode yang merupakan hal terpenting bagi perayap web. File ini selalu menginstruksikan perayap web bagaimana situs web harus diindeks atau dirayapi. Perayap pencarian web selalu memindai file robots.txt sebelum merayapi halaman web apa pun dari situs web. Itu berarti Anda dapat membatasi halaman web apa pun di blog Anda yang tidak penting untuk diindeks atau Anda tidak ingin mengindeks halaman ini.

Oke, sekarang kalian sudah tahu apa itu file robots.txt. Sebelum Anda mempelajari cara menambahkan file robots.txt khusus di BlogSpot , Anda harus tahu lebih banyak tentangnya. Mari kita lihat apa yang ada di dalam file robots.txt.

File robots.txt BlogSpot default terlihat seperti gambar di bawah ini. Jika Anda tidak memahami kodenya maka tidak masalah, saya akan menjelaskan istilah-istilah ini selangkah demi selangkah.

WikiPoka Default BlogSpot File Robots.txt

Apa yang ada di file robot.txt?

File robots.txt hanya berisi beberapa baris kode seperti User-agent, Disallow, Allow, Sitemap. Mari kita perkenalkan dengan istilah-istilah ini:

Agen-pengguna: Mitra media-Google

Kode ini digunakan untuk menayangkan iklan yang lebih baik di blog Anda melalui Google Adsense. Harap biarkan apa adanya meskipun Anda tidak menjalankan iklan melalui Adsense.

Agen pengguna: *

Kode agen pengguna dengan tanda bintang (*) ini untuk semua robot.

Larang: /cari

Kode ini digunakan untuk membatasi pengindeksan halaman web suatu situs dengan kata kunci pencarian tepat setelah nama domain.

Di Blogger, label dan kueri penelusuran Anda tidak akan diindeks oleh perayap jika Anda menggunakan kode ini. Jadi, Jika Anda menghapus kode dari file robots.txt, perayap dapat merayapi dan mengindeks situs web lengkap Anda.

Mengizinkan: /

Kode ini digunakan untuk merayapi dan mengindeks beranda blog.

Peta Situs: https://example.com/sitemap.xml

Kode ini mengacu pada peta situs sebuah situs web. Menambahkan peta situs di file robots.txt adalah cara termudah untuk mengoptimalkan tingkat perayapan situs. Setiap kali perayap memindai file robots.txt dari sebuah situs, ia menemukan tautan peta situs dari situs tersebut. Dan file sitemap.xml berisi semua posting dan halaman yang diterbitkan dari blog itu.

Tautan peta situs BlogSpot default hanya memberi tahu perayap web tentang 25 posting terbaru dan jika Anda ingin menambah jumlahnya, ganti peta situs default dengan yang di bawah ini.

Jika Anda memiliki kurang dari 500 posting di blog Anda, gunakan peta situs

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Tetapi Jika Anda memiliki lebih dari 500 posting di blog Anda, maka Anda perlu menggunakan dua peta situs seperti di bawah ini:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Bagaimana cara menambahkan robots.txt khusus di Blogger?

Berikut adalah bagian utama dari tutorial ini dan itu adalah bagaimana Anda dapat menambahkan file robots.txt kustom di blog Blogger Anda. Silakan ikuti langkah-langkah di bawah ini untuk melakukannya.

Buka blog Blogger Anda.
Arahkan ke Pengaturan Perayap dan pengindeksan Aktifkan robots.txt khusus Ya
Sekarang tempel kode file robots.txt Anda di Pengaturan Perayap dan pengindeksan Robots.txt khusus
Klik tombol Simpan
Wow! Kamu selesai.

Kode Akhir:


User-agent: Media partners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/atom.xml?redirect=false&start-index=1&max-results=500

Bagaimana cara memeriksa file robots.txt?

Akhirnya, Anda berhasil menambahkan file robots.txt khusus di blog BlogSpot Anda. Sekarang, saatnya untuk memeriksa file robots.txt blog Anda . Ikuti langkah-langkah di bawah ini untuk memeriksa file robots.txt:

Buka browser Anda
Ketik URL blog Anda di bilah alamat
Tambahkan /robots.txt setelah nama domain blog Anda
Tekan enter dan itu akan membuka file
Itu dia.

Lihat contoh di bawah ini:

http://example.blogspot.com/robots.txt

Bagaimana cara Melarang posting tertentu?

Jika Anda ingin membatasi posting tertentu dari pengindeksan maka Anda dapat melakukannya dengan mengikuti langkah-langkah di bawah ini.

Peringatan!
Harap berhati-hati saat melakukan ini, Anda dapat memblokir situs Anda dari pengindeksan secara tidak sengaja.

Disallow: /yyyy/mm/your-post-url.html

Yyyy mengacu pada tahun Anda menerbitkan posting Anda dan mm mengacu pada bulan ketika Anda menerbitkan posting Anda dan akhirnya mengganti your-post-url.html dengan URL posting yang Anda coba blokir dari perayap web.

Bagaimana cara Melarang halaman tertentu?

Anda dapat mengikuti metode di atas untuk memblokir halaman tertentu dari pengindeksan di mesin pencari. Tetapi kode ini sedikit berbeda, lihat saja kode di bawah ini:

Disallow: /p/page-url.html

Membungkus

Terakhir, saya sangat menyarankan Anda untuk melakukannya dengan sangat hati-hati dan jangan memasukkan kode yang tidak perlu atau salah karena dapat merusak situs Anda. Saya mencoba yang terbaik untuk menjelaskan robots.txt dan cara menambahkan robots.txt khusus di Blogger . Jangan ragu untuk menghubungi saya jika Anda tidak memahami tutorial ini atau memiliki pertanyaan untuk tutorial ini dan saya akan mencoba yang terbaik untuk menjawab pertanyaan Anda.

Terima kasih telah membaca tutorial ini dan Jika Anda menyukai artikel saya, silakan bagikan blog ini di platform media sosial dan tetap ikuti blog ini untuk mengembangkan karir online Anda. Selamat perjalanan blog!