Bagaimana Internet Archive Menyimpan Sejarah Dunia Maya

Ilustrasi/fin.co.id

Ada banyak situs di internet yang dulu aktif sekarang sudah tidak ada lagi. Jumlahnya bukan puluhan tapi jutaan. Kita bisa melihat kembali situs-situs itu melalui Internet Archive, dalam semacam album yang menyimpan halaman-halaman situs tersebut. Pertanyaan kemudian muncul, apakah Internet Archive juga memiliki mesin crawler yang dapat meng-crawl situs-situs di internet layaknya Google?

Ya. Pada dasarnya memang begitu. Internet Archive memang memiliki web crawler sendiri yang terus menjelajahi web seperti Google, tetapi tujuan, prioritas, dan cara kerjanya sangat berbeda.

Perbedaannya justru menarik. Google merayapi web untuk menjawab pertanyaan, sedangkan Internet Archive merayapi web untuk mengingat.

Google ingin menemukan versi terbaru dari sebuah halaman. Jika kita mencari "Wikipedia Indonesia", Google tidak peduli seperti apa halaman itu pada tahun 2007. Yang penting adalah versi paling relevan saat ini.

Internet Archive justru melakukan kebalikannya. Mereka ingin menyimpan potongan waktu. Bagi mereka, halaman Wikipedia tahun 2007 sama berharganya dengan halaman tahun 2026, karena keduanya merupakan dokumen sejarah.

Cara kerjanya kurang lebih seperti ini. Internet Archive menggunakan crawler bernama Heritrix, perangkat lunak sumber terbuka yang dikembangkan oleh Internet Archive sendiri, sekitar tahun 2004. Heritrix berjalan otomatis, mengikuti tautan dari satu situs ke situs lain, mengunduh HTML, gambar, CSS, JavaScript (sejauh memungkinkan), lalu menyimpannya dalam format arsip bernama WARC (Web ARChive). Format itu kemudian menjadi standar internasional yang juga dipakai banyak perpustakaan nasional dan lembaga arsip digital.

Namun mereka tidak mungkin meng-crawl seluruh internet secara lengkap. Alasannya sederhana: internet terlalu besar.

Google sendiri, dengan infrastruktur yang mungkin terbesar di dunia, juga tidak mengindeks seluruh web. Internet Archive jauh lebih kecil. Mereka harus memilih.

Biasanya, mereka memperoleh halaman melalui beberapa jalur: crawler otomatis yang terus menjelajahi web, proyek-proyek pengarsipan khusus (misalnya arsip situs pemerintah menjelang pemilu), situs yang diajukan oleh pengguna melalui fitur Save Page Now, dan kerja sama dengan perpustakaan, universitas, serta lembaga arsip nasional.

Akibatnya, frekuensi pengarsipan sangat berbeda. Halaman depan Google, Wikipedia, atau CNN mungkin diarsipkan berkali-kali dalam sehari. Blog pribadi yang sepi bisa hanya diarsipkan sekali dalam lima tahun. Sebagian situs bahkan tidak pernah sempat disentuh.

Ada hal lain yang menurut saya jauh lebih menarik. Google sebenarnya juga menyimpan salinan halaman web. Mereka membutuhkannya untuk mengindeks pencarian. Namun setelah halaman berubah, Google biasanya mengganti salinan lama dengan yang baru.

Internet Archive hampir tidak pernah berpikir seperti itu. Mereka justru berkata, "Kalau halaman ini berubah, simpan lagi." Itulah sebabnya kita bisa membuka halaman depan Amazon tahun 1998, kemudian 1999, 2000, 2001, dan melihat evolusinya hampir seperti membuka album foto.

Saya juga suka memikirkan sisi teknis yang sering tidak disadari orang. Crawler Internet Archive pada dasarnya adalah pengunjung internet yang paling sabar di dunia. Ia berjalan tanpa henti. Membuka halaman. Menyimpan salinannya. Mengikuti tautan berikutnya. Menyimpan lagi. Begitu terus selama puluhan tahun.

Sementara jutaan manusia sibuk membuka TikTok, Instagram, YouTube, Reddit, atau berita hari ini, crawler Internet Archive terus bekerja tanpa peduli apakah sebuah situs sedang populer atau hampir tidak pernah dikunjungi siapa pun. 

Ironisnya, Internet Archive juga sangat bergantung pada satu hal yang rapuh. Mereka hanya bisa mengarsipkan apa yang masih bisa mereka lihat. Sementara internet modern semakin sulit diarsipkan.

Contohnya, Facebook menampilkan banyak konten hanya kepada pengguna yang login. Instagram membatasi akses crawler. Banyak situs dibangun sebagai single-page application yang isi halamannya baru muncul setelah JavaScript dijalankan. Konten di TikTok atau aplikasi seluler sering tidak memiliki URL permanen yang mudah diarsipkan. Banyak layanan berada di balik API privat.

Akibatnya, web yang dapat diarsipkan dengan sangat baik justru lebih banyak berasal dari era 1990-an hingga pertengahan 2000-an, ketika internet masih didominasi halaman HTML statis yang terbuka untuk siapa saja.

Ada ironi yang saya sukai di sini. Internet modern jauh lebih besar daripada internet tahun 2003. Jauh lebih cepat. Jauh lebih kaya multimedia. Pada saat yang sama, internet modern justru lebih sulit diwariskan kepada masa depan.

Seorang peneliti pada tahun 2050 mungkin bisa melihat dengan cukup jelas seperti apa halaman depan Yahoo! tahun 1999, tetapi jauh lebih kesulitan merekonstruksi seperti apa sebenarnya pengalaman membuka linimasa TikTok pada tahun 2024. Justru ketika internet menjadi pusat kehidupan manusia, sebagian jejaknya berubah menjadi jauh lebih mudah menguap.

Catatan terkait: Sebenarnya, Kaskus Masih Aktif atau Sudah Mati?