BUSCANDO TESOROS EN LA RED: LA CARACTERIZACIÓN DE LA WEB SUPERFICIAL Y LA WEB PROFUNDA

LA WEB SUPERFICIAL O VISIBLE

El uso que se le da a la red hoy en día presenta un sin fin de limitaciones que el usuario común aún no logra descubrir, ya que la indexación de páginas por parte de las arañas (spiders) en muchos de los sitios, no tienen la consistencia de una búsqueda verdadera, quedándose en meros formalismos o indexa páginas con criterios muy particulares o individualistas. Esto genera, miles de miles de páginas que no han sido o dejan de revisarse con la consiguiente pérdida de información y de un tiempo valioso para el usuario.

Se estima que para los buscadores habituales (Google y otros de menor escala) el número de páginas indexadas crece exponencialmente por lo que la progresión en la que crece el número de páginas web subidas a la net es totalmente geométrica.

Esta es la conocida INTERNET SUPERFICIAL en la que navegan casi el 85% de los usuarios web. Muchos de los investigadores lo representan visualmente como el pico de un tempano de hielo que sobresale apenas unas decenas de metro por encima de la superficie del agua. Representación fiel de lo que sucede en el tráfico web.

Comprende todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta a sus formularios de búsqueda.

Las características principales de los sitios de la Web visible o superficial son:

su información no está contenida en bases de datos

es de libre acceso

no requiere la realización de un proceso de registro para acceder

Mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.

LA WEB PROFUNDA

A la web profunda también se le conoce como deep web, dark web y otros apelativos; y no solo casi ha sido casi inexplorada sino muchas veces mal utilizada, para encubrir páginas de dudosa reputación o no indexadas debidamente.

Segun Fernández (2006) en el año 2000 se estimaba que el tamaño del Internet Profundo era de 7.500 TeraBytes de datos en unos 550.000 millones de documentos. Para hacernos una idea, se estima que en aquella época la Internet Superficial ocupaba 167 Terabytes y por ejemplo el contenido de la Biblioteca del Congreso de Estados Unidos tenía unos 3.000 Terabytes que no eran accesibles por los motores de búsqueda.

Existen herramientas para acceder un poco mas profundo en la web, como ejemplo de ello están los SCRIPTS...pequeños artilugios tecnológicos (programas, generalmente en texto plano) con una orden de ejecución que nos hacen nuestras búsquedas mas fáciles y con un ahorro de tiempo sustancial. Sin embargo, a menos que se programen y hagan, pueden causar daños considerables en nuestros equipos. Por ejemplo: los que se usan con la extensión de GREASEMONKEY de MOZILLA FIREFOX, de los cuales existen cientos y para un variado uso. Pero tambien existen miles de aplicaciones y formas de llegar a la DEEP WEB, muchas de ellas no recomendables por su peligrosidad.

Internet invisible o Profunda

Es un nombre claramente inadecuado para referirse al sector de sitios y de páginas web que no pueden indizar los motores de búsqueda de uso público como Google o AltaVista. Pese al nombre, afortunadamente, la web invisible es perfectamente visible ya que los contenidos de tales páginas y sitios web pueden ser vistos o bien mediante un navegador convencional o bien mediante un navegador complementado con algún programa adicional (plugin)

La Web invisible es el término utilizado para describir toda la información disponible en Internet que no es recuperada interrogando a los buscadores convencionales. Generalmente es información almacenada y accesible mediante bases de datos.

Si bien el 90% de las bases de datos están públicamente disponibles en Internet, los robots de los buscadores solamente pueden indicar su página de entrada (homepage) y son incapaces de entrar dentro de las tablas e indizar cada registro, les falta la habilidad para interrogarlas, seleccionar sus opciones y teclear una consulta para extraer sus datos. La información almacenada es por consiguiente "invisible" a estos, ya que los resultados se generan en la contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP...) es decir páginas que no tienen una URL fija y que se construyen en el mismo instante (temporales) desapareciendo una vez cerrada la consulta.

Por cada millón de páginas visibles hay otros 500 o 550 millones ocultas, contiene alrededor de unos 100.000 sitios y el 90% suele ofertar su información pública y gratuitamente.

La información pública y gratuita del Web invisible es actualmente de 400 a 550 veces mayor que el Web visible.

Caracterización de la Web invisible o profunda

Sherman y Price (2001) identifican cuatro tipos de contenidos invisibles en la Web: la Web opaca (the opaque Web), la Web privada (the private Web), la Web propietaria (the proprietary Web) y la Web realmente invisible (the truly invisible Web).

1.- La Web opaca:

Se compone de archivos que podrían estar incluidos en los índices de los motores de búsqueda, pero no lo están por alguna de estas razones:

Extensión de la indización: por economía, no todas las páginas de un sitio son indizadas en los buscadores.

Frecuencia de la indización: los motores de búsqueda no tienen la capacidad de indizar todas las páginas existentes; diariamente se añaden, modifican o desaparecen muchas y la indización no se realiza al mismo ritmo.

Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados de búsqueda, generalmente limitan el número de documentos que se muestran (entre 200 y 1000 documentos).

URL’s desconectadas: las generaciones más recientes de buscadores, como Google, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados o ligados en otros. Si un documento no tiene un link desde otro documento será imposible que la página sea descubierta, pues no habrá sido indizada.

No cabe duda de que los actuales buscadores y directorios de la web están mejorando su funcionamiento. Más allá de los detalles técnicos que el público no alcanza a ver, la eficiencia de estas maquinarias ha aumentado y esto se aprecia en los resultados de las búsquedas. A medida que estas herramientas se vayan haciendo más poderosas disminuirá la necesidad de la elaboración manual de guías o concentradores de recursos y quizás más la de orientación en las estrategias de búsqueda y en el uso y aprovechamiento de los recursos localizados.

Un observador cuidadoso puede apreciar que persiste la práctica de los robots de no indizar todas las páginas de un sitio, fijándose en los resultados de las búsquedas que arrojan las diferentes herramientas. Por ejemplo, se puede tener la referencia de una base de datos, disponible a través de un sitio web, en una de las páginas del sitio que contiene un link a ella, y no aparecer, en cambio, la referencia a la página de acceso directo a la base de datos en ese sitio.

La frecuencia de la indización puede haber aumentado en algunos buscadores, o incluso hacerse de forma diferenciada para algunos recursos. Aquellas páginas que, por su naturaleza, varían más (por ejemplo, la información bursátil) serían visitadas más frecuentemente por los robots que aquellas que tienden a ser más estables en su contenido.

El número máximo de resultados visibles no es un problema cuando los buscadores presentan los resultados ordenados por relevancia, pues siempre aparecerán primero aquellos que se ajustan más a la búsqueda realizada. En la medida en que se pueda realizar una búsqueda avanzada y los criterios de relevancia combinen el número de ligas con la frecuencia de palabras, la presentación de los resultados no constituirá un obstáculo para encontrar la información. El usuario siempre debe tener en cuenta que los buscadores son más apropiados cuando la búsqueda es específica, es decir, se conocen datos sobre lo que se busca; mientras que es más adecuado realizar búsquedas temáticas en los directorios.

Los URLs desconectados podrían evitarse si existiera la obligación de registrar, aunque fuera de forma muy sencilla, toda página que se colgara en la web. Pero dada la gran descentralización de Internet, esto no parece vislumbrarse en un futuro inmediato.

2.- La Web privada:

Consiste en las páginas web que podrían estar indizadas en los motores de búsqueda pero son excluidas deliberadamente por alguna de estas causas:

Las páginas están protegidas por contraseñas (passwords).

Contienen un archivo “robots.txt” para evitar ser indizadas.

Contienen un campo “noindex” para evitar que el buscador indice la parte correspondiente al cuerpo de la página.

Este segmento de la web no representa una gran pérdida en términos de valor de la información que contiene, ya que se trata, en general, de documentos excluidos deliberadamente por su falta de utilidad. En cualquier caso, son los dueños de la información los que deciden no hacerla disponible, por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear esa barrera. Además, los archivos robots.txt sirven para evitar que los robots caigan en “agujeros negros”, que les hagan entrar en procesos circulares interminables, mermando así la eficiencia en su funcionamiento

3.- La Web propietaria:

Incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o pagada. Se dice que al menos 95% de la Web profunda contiene información de acceso público y gratuito.

En un artículo reciente de la OCLC Office for Research se examinan las tendencias en cuanto a tamaño, crecimiento e internacionalización de la Web pública, es decir, la porción de información más visible y accesible para el usuario promedio. Las principales conclusiones del estudio son:

El crecimiento de la Web pública muestra un estancamiento en los últimos años. Ello se debe a que se crean menos sitios Web y otros desaparecen, aunque esto no quiere decir que no aumente en volumen de información, es decir, en número de páginas o número de Terabytes.

Otra posibilidad, que no se señala en este estudio, pero que puede aventurarse, es que algunos sitios web estén transformándose en sitios accesibles solamente mediante pago.

La Web pública está dominada por contenidos originados en los Estados Unidos, así como escritos en inglés. Esto nos lleva a pensar que es probable que haya más recursos invisibles en páginas originadas en países distintos a los Estados Unidos y en idioma diferente al inglés.

4.- La Web realmente invisible:

Se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, como las siguientes:

Páginas web que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas ejecutables y archivos comprimidos.

Páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario.

Información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica. Otra dificultad consiste en la variable estructura y diseño de las bases de datos, así como en los diferentes procedimientos de búsqueda.

Algunos buscadores tradicionales como Google han evolucionado y presentan ahora la posibilidad de realizar búsquedas por materiales o formatos especiales, como imágenes, audio y vídeo son posibles porque se realiza una catalogación textual de éstos. Las búsquedas en materiales en formatos como PDF, Flash, etc. se pueden realizar porque existen directorios de estos archivos. Así, el principal medio por el cual se pueden efectuar las búsquedas es el texto. Por ejemplo, si queremos recuperar imágenes en blanco y negro, éstas deben estar clasificadas de ese modo en la base de datos. Esto implica, desde luego un proceso manual.

Recursos de búsqueda en la Web profunda por tipo de recurso

Buscadores

Scirus

http://www.scirus.com/

WebSearch

http://www.websearch.com.au/

Metabuscadores

iBoogie

http://www.iboogie.tv/

Fazzle

http://www.fazzle.com/

Ixquick

http://www.ixquick.com/

Search.Com

http://www.search.com/

Directorios de buscadores

AlphaSearch

http://www.alphasearch.org/

Directorios

CompletePlanet

http://www.completeplanet.com/

Direct Search

http://www.freepint.com/gary/direct.htm

HotSheet

http://www.hotsheet.com/

IncyWincy

http://www.incywincy.com/

InternetInvisible

http://www.internetinvisible.com/

Librarians Index

http://lii.org/

Master Link List On the Internet

http://www.web-friend.com/links/masterlinks.html

RefDesk.com

http://refdesk.com/

Webfile.com

http://webfile.com/

Where to Do Research

http://www.wheretodoresearch.com/

Directorios anotados

AcademicInfo

http://www.academicinfo.net/

Resource Discovery Network

http://www.rdn.ac.uk/

Directorios de bases de datos

WebData.com

http://www.webdata.com/

Guías

About

http://www.about.com/

LibrarySpot

http://www.libraryspot.com/

Motores avanzados

Deep Query Manager (sustituye a Lexibot)

http://brightplanet.com/news/dqm2.asp

FeedPoint

http://www.quigo.com/feedpoint.htm

Search4science

http://www.search4science.com/

Strategic Finder

http://www.strategicfinder.com/

En conclusión, lo que realmente sigue siendo invisible en la web son:

Las páginas desconectadas;
Las páginas no clasificadas que contienen principalmente imágenes, audio o vídeo;
Las páginas no clasificadas que contienen principalmente archivos PDF,
PostScript, Flash, Shockwave, ejecutables y comprimidos;
El contenido de las bases de datos relacionales;
El contenido que se genera en tiempo real;
El contenido que se genera dinámicamente.

Pero:

Algunos buscadores recuperan archivos PDF y páginas con imágenes, aunque de forma limitada;
Es relativamente sencillo llegar hasta la “puerta” de las bases de datos con contenido importante;
Existen ya motores avanzados capaces de realizar búsquedas directas simultáneas en varias bases de datos a la vez; y aunque la mayoría requieren de pago, también ofrecen versiones gratuitas;
El contenido que se genera en tiempo real pierde validez con mucha velocidad, salvo para análisis históricos; es relativamente sencillo llegar hasta la “puerta” de los servicios que ofrecen información en tiempo real;
El contenido que se genera dinámicamente interesa únicamente a ciertos usuarios con características específicas;

Es relativamente sencillo llegar hasta la “puerta” de los servicios que ofrecen contenido generado dinámicamente.

De todo lo anteriormente expuesto, podemos acotar lo siguiente: Que Internet se divide en niveles:

a) El nivel 0: Web superficial descrita anteriormente.

b) Nivel 1: aquí se encuentran web un poco menos conocidas pero de fácil acceso. Son en su mayoría foros, páginas pornográficas y pequeñas páginas independientes de interés no tan común como en el nivel anterior.

c) Nivel 2: está compuesto por dominios web aún menos conocidas y por los buscadores independientes tales como lo son Ares y eMule. El material que se puede obtener en este nivel es de moralidad dudosa. El morbo suele ser un tema recurrente. Hasta aquí hemos tocado solo la parte superficial del ciber-mundo. A partir de aquí empieza lo realmente “interesante”. Es ahora cuando se da el primer paso dentro de Web profunda.

d) Nivel 3. Las páginas que se rigen en este oscuro mundo suelen tener dominios compuestos por caracteres dejados caer de manera totalmente aleatoria. En ellas no hay publicidad, ni color, y lo más significativo es que no se relacionan entre ellas como las páginas superficiales; de hecho, ni siquiera aparecen en buscadores como Google, ni aunque copies su enlace e intentes buscarlo. Aquí hay muchas cosas raras, muchas cosas perturbadoras, muchas inútiles —tales como las webs abandonadas, algunas por más de 25 años—, pero también muchas cosas útiles. En este sector quizá encuentres ese libro que tanto buscabas y que no encontrabas porque cerraron Megaupload, o esa película de antaño que ya nadie se molesta en subir, e incluso hay algunos foros interesantes. Pero la verdad es que la mayoría de lo que hay aquí tiene fines mucho más macabros y desagradables.

e) Nivel 4: lo niveles anteriores eran peligrosos, pero con un proxy y un buen detector de intrusos era suficiente. Aquí no. El cuarto nivel y lo que está por delante están plagados de hackers. Y por hackers se entiende a verdaderos piratas informáticos, los muy buenos, sobre todo en cuanto a robo y malversación de datos se refiere. Por supuesto el hecho de que esta gente esté aquí, significa que debe haber algo realmente bueno escondido en algún lugar de este nivel, y la verdad es que lo hay. En este nivel, además de todo lo que hay en los otros niveles, se puede ver Snuff en vivo o grabaciones y, además, se encuentra el “Mercado Negro”. Una página de ventas online como mercado libre, solo que aquí se venden artilugios de los mas macabros, además de drogas, armas, órganos, trata de blancas e incluso puedes contratar sicarios. Todo pagado con una moneda llamada BitCoin. Pero los hackers no están aquí de compras o para ver morbosidades varias, sino para trabajar. En este nivel se encuentran paginas encriptadas de numerosos gobiernos, donde se puede encontrar información sobre a qué va realmente destinado el dinero de esos países, leyes que piensan ser aprobadas y secretos de estado tales como expedientes sobre experimentos.

f) Nivel 5: Aquí se incluyen las informaciones, desarrollo y control de los secretos militares y de los Estados. También se cree que la “entidad” que realmente domina la economía y política del mundo, intercambia información entre sus miembros.

g) El Nivel 6. Que existe es una certeza y que es lo que hay ahí también. Solo los mejores hackers logran acceder a ella y el riesgo nunca es pequeño. El objetivo es la Database. El Database es la sección donde toda la información de la web deja de ser solo un código binario de 1 y 0 y comienza a tener sentido. Quien logre descifrar la clave del sistema –que tiene una extensión de kilómetro y medio de tipo numérico- será capaz de manipular cualquier dato de internet, desde el título de un foro, hasta valores de cuentas bancarias. Sencilla y llanamente, quien logre acceder al Database tendrá al mundo en la palma de su mano. La liberte: Es una página secreta donde se cuelga y postea información acerca de zion Pero ¿Que es Zion?

h) Nivel 7: (Zion) Es el nivel mas profundo de la web profunda o también se denomina el corazón de todo Internet, en el tienes acceso ilimitado a todo lo contenido en los anteriores 6 niveles para acceder a él. Esta asechada por los mejores hackers y científicos del mundo. Algunos dicen que es un mito, otros que es real. Como podéis ver, los niveles 6 y 7 son como de ciencia ficción, por lo menos para mí, que soy un recién llegado. Pero si buscáis en google “zion deep web” verás que existe bastante información. Bueno, será cuestión de seguir buscando…. Pero tener en cuenta que: Para navegar por la Web profunda se deben tomar muchas precauciones y se deben tener en cuenta varias reglas básicas para mantenerte seguro (o al menos para intentarlo).

Es importante tener en cuenta estas recomendaciones. La Web profunda es interesante pero peligrosa

 Se necesita usar TOR para acceder a la gran cantidad de cosas de la Web profunda, si no lo haces te pones en riesgo y además no podrás acceder a los sitios .onion

 Evita los sitios que digan pedo bear, hard candy, HC, CP… suele ser pornografía infantil, y es desagradable.

 No descargues nada, o al menos nada de lo que no estés seguro.

 Evita los “markets”, siempre que no busques algo específico.

 ¿Hacer amigos en la Web profunda? Evitarlo y mientras más profundo vayas, mejor es pasar inadvertido.

 No uses tu mail ni te registres en nada, si lo haces, hazlo con cuentas de correo alternas y si es posible darte el trabajo de usar algo como riot mail, mejor.

 No actives ningún plugin, no te conviene.

 No bucees demasiado profundo en la Web profunda, mientras más abajo llegues, más riesgo hay de toparte con cosas que no deseas ver o cosas que otros no quieren que veas.