Banyak pengguna internet yang tidak terlatih seperti saya berharap bahwa dapat menemukan apapun di world wide web internet dengan menggunakan Google, Yahoo atau Ask.com. Tidak, mesin pencari sehebat dan sebesar mereka bukan segalanya pada indeks pada world wide web. Bahkan, indeks mesin pencari kurang dari 10% dari seluruh web! Bahwa 90% sisanya disebut "Web Invisible", atau dengan kata lain, "The Cloaked Web"" atau "The Deep Web". Ini adalah konten besar yang tersedia secara umum, tetapi tersembunyi dari mesin pencarian biasa.
Memang, ini adalah konsep yang sulit untuk dipahami - bahwa miliaran halaman web tidak dapat ditemukan oleh Google. Tapi itu benar, miliaran halaman berada di luar kemampuan mesin pencari. Robot "spiders" scan dan katalog world wide web terbatas mereka tidak dapat melihat atau menemukan indeks website invisible tadi.
Untuk lebih memvisualisasikan konsep ini, mari kita mulai dengan beberapa perkiraan ukuran dari Google.com, Yahoo.com, Cyberatlas, dan MIT. Statistik ini saat ini untuk Spring 2010:
- Google.com mengindeks 23,5 miliar halaman web umum.
- 80 + milyar halaman web statis publik tersedia. Halaman-halaman ini dapat dengan mudah ditemukan oleh Google dan mesin pencari lainnya. (Mis. www.chapila.com, www.facebook.com dan sebagainya)
- 9,5 miliar halaman statis yang tersembunyi dari publik. Sebagai konten intranet pribadi, ini adalah halaman-halaman perusahaan yang hanya terbuka untuk karyawan perusahaan tertentu. (Misalnya employees.honda.com, secure.australia.gov.au)
- 300 + milyar halaman database-driven yang sama sekali tak terlihat ke Google. Halaman ini terlihat bukan halaman web biasa Anda. Sebaliknya, ini adalah laporan database dinamis yang hanya ada saat dipanggil dari database besar. (Misalnya perbankan, laporang keungan besar, maupun email anda.)
Google, dianggap sebagai database pencarian terbaik saat ini, bisa hanya sebagian kecil dari katalog konten internet saat ini. Bahkan dengan spider web elektronik untuk katalog jutaan halaman web setiap minggu, indeks saat ini Google hanya 23,5 miliar dari 300 + milyar halaman di luar sana ... kurang dari 8% dari semua konten internet tersedia.
Jadi jika Google katalog hanya 8% dari World Wide Web, dan mencari katalog mesin lainnya bahkan kurang, maka dimana 92% sisa dari konten web yang tersembunyi?
Mungkin anda bertanya kenapa bisa demikian ?
Sumber: http://www.chapila.com/2010/11/apa-yang-tersembunyi-dari-internet-web.html#informasi
Kalau Komentar FACEBOOK tidak muncul
Tekan F5 di keyboard kamu
