Robots.txt Generator membantu Anda menyusun file robots.txt untuk mengarahkan akses crawler mesin pencari ke bagian tertentu di situs. Buat aturan Allow, Disallow, dan Sitemap dalam format yang rapi agar konfigurasi lebih mudah disiapkan sebelum ditempatkan di direktori utama website.
✓ Susun aturan robots.txt tanpa menulis struktur file dari awal.✓ Atur instruksi untuk user-agent, jalur yang diizinkan, dan jalur yang dibatasi.✓ Tambahkan URL sitemap ke konfigurasi yang dihasilkan.
♢ Gratis•Input jelas•Hasil dapat diperiksa•Tanpa pendaftaran
Lengkapi data yang diperlukan di bawah, lalu jalankan tool untuk melihat hasilnya.
Lengkapi kolom di bawah, lalu tekan tombol aksi utama.
ℹ
Masukkan user-agent yang ingin diberi instruksi, misalnya * untuk menerapkan aturan umum kepada crawler.
✓
Periksa kembali hasil sebelum menyalin, mengunduh, atau menggunakannya.
ⓘ
Catatan penting
Pemrosesan dilakukan di browser jika didukung. Data sensitif tidak sengaja disimpan.
Apa Itu Robots.txt Generator
Robots.txt adalah file teks yang digunakan untuk memberikan instruksi kepada crawler, seperti Googlebot, mengenai area situs yang boleh atau tidak boleh dirayapi. File ini umumnya ditempatkan pada root domain, misalnya https://contoh.com/robots.txt. Robots.txt Generator memudahkan pembuatan konfigurasi dasar dengan struktur yang konsisten, terutama saat Anda perlu menyiapkan aturan untuk halaman admin, area internal, parameter tertentu, atau direktori lain yang tidak ingin diprioritaskan untuk perayapan. Tool ini berfokus pada penyusunan isi file robots.txt. Anda dapat menentukan user-agent yang dituju, memasukkan path untuk aturan Allow atau Disallow, lalu menambahkan lokasi sitemap bila tersedia. Hasil konfigurasi dapat ditinjau terlebih dahulu agar setiap path sesuai dengan struktur URL situs Anda. Gunakan aturan secara spesifik dan seperlunya; pemblokiran yang terlalu luas dapat membuat crawler tidak dapat mengakses halaman penting.
Cara menggunakan Robots.txt Generator
Masukkan user-agent yang ingin diberi instruksi, misalnya * untuk menerapkan aturan umum kepada crawler.
Tambahkan path yang ingin dibatasi menggunakan aturan Disallow, seperti /admin/ atau /private/.
Tambahkan path yang tetap ingin diizinkan dengan Allow jika diperlukan untuk memperjelas pengecualian aturan.
Masukkan URL sitemap lengkap, misalnya https://contoh.com/sitemap.xml, apabila situs Anda memiliki sitemap.
Buat konfigurasi, lalu periksa kembali setiap path dan salin hasilnya ke file bernama robots.txt.
Unggah file robots.txt ke direktori root domain dan pastikan dapat diakses melalui URL domain/robots.txt.
Contoh penggunaan
Contoh konfigurasi untuk situs contoh.com yang ingin membatasi area admin dan halaman internal, tetapi tetap mengizinkan crawler mengakses halaman publik: User-agent: * Disallow: /admin/ Disallow: /internal/ Allow: / Sitemap: https://contoh.com/sitemap.xml Pada contoh tersebut, aturan berlaku untuk semua crawler melalui User-agent: *. Path /admin/ dan /internal/ diberi instruksi Disallow, sedangkan sitemap membantu crawler menemukan daftar URL yang tersedia. Sesuaikan path dengan URL sebenarnya di website Anda; jangan menggunakan nama folder contoh bila struktur situs berbeda.
Manfaat utama
Mempercepat penyusunan format robots.txt yang mudah dibaca dan ditinjau.
Membantu mengurangi kesalahan penulisan aturan dasar seperti User-agent, Allow, Disallow, dan Sitemap.
Memudahkan persiapan konfigurasi untuk situs baru, migrasi domain, atau penyesuaian struktur URL.
Mendukung dokumentasi aturan perayapan agar pengelolaan teknis SEO lebih teratur.
Memberikan hasil yang dapat diperiksa sebelum file diterapkan pada domain utama.
Tips dan hal penting
Gunakan Disallow untuk path yang benar-benar tidak perlu dirayapi, bukan sebagai cara untuk menyembunyikan informasi sensitif.
Tulis path relatif setelah nama domain, misalnya /admin/, bukan URL lengkap seperti https://contoh.com/admin/.
Hindari aturan Disallow: / jika Anda tetap ingin halaman publik dapat dirayapi.
Pastikan URL Sitemap memakai alamat lengkap dan dapat diakses publik.
Periksa kembali huruf, garis miring, serta struktur direktori karena robots.txt membaca path secara spesifik.
Setelah mengunggah file, buka URL /robots.txt pada browser untuk memastikan file berada di root domain.
Pertanyaan yang sering diajukan
Apa fungsi Robots.txt Generator?＋
Robots.txt Generator digunakan untuk menyusun konfigurasi file robots.txt, termasuk instruksi User-agent, Allow, Disallow, dan Sitemap. Hasilnya dapat digunakan sebagai draf sebelum ditempatkan di root domain website.
Di mana file robots.txt harus ditempatkan?＋
File harus ditempatkan di direktori root domain dan umumnya dapat diakses melalui URL seperti https://contoh.com/robots.txt. Nama file yang digunakan adalah robots.txt.
Apakah Disallow membuat halaman tidak muncul di hasil pencarian?＋
Tidak selalu. Disallow memberi instruksi agar crawler tidak merayapi path tertentu. Pengelolaan kemunculan halaman di hasil pencarian dapat memerlukan pengaturan lain, tergantung kondisi halaman dan mesin pencari.
Apa arti User-agent: * pada robots.txt?＋
User-agent: * berarti aturan setelahnya ditujukan untuk semua crawler yang mengikuti instruksi robots.txt. Jika diperlukan, aturan dapat dibuat untuk user-agent tertentu.
Apakah sitemap perlu ditambahkan ke robots.txt?＋
Sitemap tidak wajib, tetapi URL sitemap dapat ditambahkan untuk memberi crawler referensi lokasi sitemap situs. Gunakan URL sitemap lengkap yang sesuai dengan domain Anda.
