Sitemap Saja Tidak Cukup

Catatan tentang Memberi Tahu Mesin Pencari, Bukan Sekadar Berharap Mereka Datang

Kebanyakan developer men-deploy sitemap dan menganggap infrastruktur SEO sudah selesai.

Sitemap-nya ada. robots.txt sudah menunjuk ke sana. Search Console sudah terhubung.

Itu awal yang baik.

Belum cukup.

Sitemap adalah sebuah dokumen. Ia memberi tahu mesin pencari halaman apa saja yang ada dan kapan terakhir dimodifikasi. Tapi ia tidak memberi notifikasi kepada siapapun. Ia hanya ada di sana, menunggu dibaca.

Apakah Google membacanya hari ini, minggu depan, atau bulan depan — sepenuhnya terserah Google.

1. Apa yang Google Lakukan dengan Sitemap Kita

Google meng-crawl sitemap sesuai jadwalnya sendiri.

Untuk site dengan traffic tinggi dan banyak backlink, jadwal itu bisa cukup sering — kadang harian. Untuk site pribadi atau domain baru, bisa berminggu-minggu antara satu kunjungan dengan berikutnya.

Ini yang disebut crawl budget. Google mengalokasikannya berdasarkan sinyal seperti domain authority, profil link, dan seberapa sering konten berubah.

Kita tidak bisa meningkatkan crawl budget dengan memintanya. Tapi kita bisa mengirim sinyal bahwa ada sesuatu yang berubah.

2. Masalah dengan Pendekatan Pasif

Pendekatan default terhadap infrastruktur SEO adalah pasif.

Publish konten. Update sitemap. Tunggu.

Sitemap pada akhirnya akan di-crawl. Konten pada akhirnya akan diindex. Tapi "pada akhirnya" di domain yang belum punya otoritas tinggi bisa berarti berhari-hari atau berminggu-minggu.

Untuk portfolio pribadi atau blog yang sedang tumbuh, delay itu nyata. Artikel baru yang butuh dua minggu untuk muncul di hasil pencarian adalah dua minggu visibilitas yang hilang.

Solusinya bukan menyiasati algoritma. Tapi berkomunikasi langsung.

3. Sitemap Ping — Satu Request, Tanpa Ribet

Metode yang paling lama dan paling sederhana adalah sitemap ping.

Kita mengirim GET request ke endpoint khusus Google atau Bing, dengan URL sitemap sebagai query parameter. Itu seluruh protokolnya.

// src/lib/seo/pingSitemap.ts

const PING_TARGETS = [
  {
    name: "Google",
    buildUrl: (sitemap: string) =>
      `https://www.google.com/ping?sitemap=${encodeURIComponent(sitemap)}`,
  },
  {
    name: "Bing",
    buildUrl: (sitemap: string) =>
      `https://www.bing.com/ping?sitemap=${encodeURIComponent(sitemap)}`,
  },
];

export async function pingSitemap(): Promise<PingResult[]> {
  const sitemapUrl = absoluteUrl("/sitemap.xml");
  // ping semua engine secara paralel, return hasil
}

Sinyal yang dikirim bersifat luas: "ada sesuatu yang berubah di sitemap saya, datang dan periksa."

Google atau Bing kemudian akan menjadwalkan crawl sitemap — bukan langsung, tapi lebih cepat dari interval default mereka.

Bukan instan. Tapi lebih cepat dari diam.

4. IndexNow — Memberi Tahu Persis Halaman Mana yang Berubah

IndexNow adalah protokol yang berbeda, dibangun untuk sinyal yang lebih spesifik.

Bukan "periksa sitemap saya," tapi "URL ini baru saja diperbarui."

// src/lib/seo/indexNow.ts

const INDEX_NOW_TARGETS = [
  { name: "Bing",   endpoint: "https://www.bing.com/indexnow",   enabled: true  },
  { name: "Yandex", endpoint: "https://yandex.com/indexnow",     enabled: true  },
  { name: "Google", endpoint: "https://www.google.com/indexnow", enabled: false },
];

export async function pingIndexNow(urls: string[]): Promise<IndexNowResult[]> {
  const body = JSON.stringify({ host, key, keyLocation, urlList: urls });
  // POST ke semua target aktif secara paralel
}

Protokol ini membutuhkan sebuah key — string unik yang membuktikan kepemilikan domain. Kita meng-host sebuah file teks kecil di /{key}.txt, dan mesin pencari memverifikasinya sebelum memproses submission kita.

Bing dan Yandex sudah mendukung IndexNow secara resmi. Google masih mengevaluasinya.

Perbedaan praktis dari sitemap ping:

Sitemap ping memberi tahu Google untuk membaca ulang dokumen yang mencantumkan halaman-halaman kita. IndexNow memberi tahu Bing untuk mengindex URL tertentu, sekarang.

Satu luas. Satu presisi.

5. Kapan Pakai Yang Mana

Keduanya bukan pendekatan yang bersaing. Mereka melayani tujuan yang berbeda.

Sitemap ping masuk akal ketika ingin mesin pencari membaca ulang seluruh struktur site, ketika mempublish banyak halaman sekaligus, atau ketika menarget Google secara spesifik karena IndexNow belum didukung resmi.

IndexNow masuk akal ketika satu halaman tertentu baru diperbarui dan perlu diindex lebih cepat, atau ketika kita tahu persis URL mana yang berubah.

Dalam praktiknya, keduanya bisa berjalan bersamaan.

Sitemap ping untuk sinyal luas. IndexNow untuk sinyal spesifik.

6. Mengotomasi Keduanya

Menjalankan ini secara manual bisa, tapi rapuh. Cron job lebih andal.

Di Vercel, cron hanya butuh satu entri di vercel.json:

{
  "crons": [
    {
      "path": "/api/cron/ping-sitemap",
      "schedule": "0 3 * * *"
    }
  ]
}

Route-nya memanggil kedua fungsi dalam satu request:

// src/app/api/cron/ping-sitemap/route.ts

const [sitemapResults, recentUrls] = await Promise.all([
  pingSitemap(),
  getRecentUrls(7),
]);

const indexNowResults = await pingIndexNow(recentUrls);

getRecentUrls(7) membaca dari layer konten MDX dan mengembalikan hanya URL yang dimodifikasi dalam tujuh hari terakhir. Tidak ada hardcoded list. Tidak ada update manual. Ketika konten baru dipublish, cron berikutnya otomatis akan menemukannya.

7. Google dan IndexNow

Google belum secara resmi berkomitmen pada IndexNow.

Ada sinyal bahwa mereka sedang mengujinya — beberapa laporan menunjukkan indexing yang lebih cepat ketika ping IndexNow menyertakan endpoint Google — tapi belum ada yang terdokumentasi atau dijamin.

Langkah praktisnya adalah menyiapkan infrastrukturnya sekarang.

Dalam implementasi di atas, entri Google di INDEX_NOW_TARGETS memiliki enabled: false. Ketika Google resmi mendukung protokol ini, mengubahnya menjadi enabled: true adalah satu-satunya perubahan kode yang dibutuhkan.

Infrastrukturnya sudah siap. Switch-nya satu baris.

Penutup

Sitemap memberi tahu mesin pencari bahwa konten kita ada.

Ping memberi tahu mereka bahwa ada sesuatu yang berubah. IndexNow memberi tahu mereka persis apa yang berubah.

Tiga lapisan pesan yang sama, dikirim dengan presisi yang semakin tinggi.

Kebanyakan site hanya mengirim yang pertama. Sebagian mengirim yang kedua. Sangat sedikit yang memiliki ketiganya berjalan otomatis.

Perbedaan antara "diindex pada akhirnya" dan "diindex minggu ini" sering kali hanya ini: apakah kita membangun infrastruktur yang berbicara, atau infrastruktur yang menunggu.