LA WEB SUPERFICIAL O VISIBLE
El uso que se le da a la red hoy en día presenta un sin fin de limitaciones que el usuario común aún no logra descubrir, ya que la indexación de páginas por parte de las arañas (spiders) en muchos de los sitios, no tienen la consistencia de una búsqueda verdadera, quedándose en meros formalismos o indexa páginas con criterios muy particulares o individualistas. Esto genera, miles de miles de páginas que no han sido o dejan de revisarse con la consiguiente pérdida de información y de un tiempo valioso para el usuario.
Se estima que para los buscadores habituales (Google y otros de menor escala) el número de páginas indexadas crece exponencialmente por lo que la progresión en la que crece el número de páginas web subidas a la net es totalmente geométrica.
Esta es la conocida INTERNET SUPERFICIAL en la que navegan casi el 85% de los usuarios web. Muchos de los investigadores lo representan visualmente como el pico de un tempano de hielo que sobresale apenas unas decenas de metro por encima de la superficie del agua. Representación fiel de lo que sucede en el tráfico web.
Comprende todos aquellos sitios cuya información puede ser indexada
por los robots de los buscadores convencionales y recuperada casi en su
totalidad mediante una consulta a sus formularios de búsqueda.
Las características principales de los
sitios de la Web visible o superficial son:
- su información no está contenida en bases de datos
- es de libre acceso
- no requiere la realización de un proceso de registro para acceder
Mayoritariamente está formada por páginas Web estáticas, es decir
páginas o archivos con una URL fija y accesibles desde otro enlace.
LA WEB PROFUNDA
A la web profunda también se le conoce como deep web, dark web y otros apelativos; y no solo casi ha sido casi inexplorada sino muchas veces mal utilizada, para encubrir páginas de dudosa reputación o no indexadas debidamente.
Segun Fernández (2006) en el año 2000 se estimaba que el tamaño del Internet Profundo era de 7.500 TeraBytes de datos en unos 550.000 millones de documentos. Para hacernos una idea, se estima que en aquella época la Internet Superficial ocupaba 167 Terabytes y por ejemplo el contenido de la Biblioteca del Congreso de Estados Unidos tenía unos 3.000 Terabytes que no eran accesibles por los motores de búsqueda.
Existen herramientas para acceder un poco mas profundo en la web, como ejemplo de ello están los SCRIPTS...pequeños artilugios tecnológicos (programas, generalmente en texto plano) con una orden de ejecución que nos hacen nuestras búsquedas mas fáciles y con un ahorro de tiempo sustancial. Sin embargo, a menos que se programen y hagan, pueden causar daños considerables en nuestros equipos. Por ejemplo: los que se usan con la extensión de GREASEMONKEY de MOZILLA FIREFOX, de los cuales existen cientos y para un variado uso. Pero tambien existen miles de aplicaciones y formas de llegar a la DEEP WEB, muchas de ellas no recomendables por su peligrosidad.
Internet invisible o Profunda
Es un nombre claramente inadecuado para referirse al
sector de sitios y de páginas web que no pueden indizar los motores de
búsqueda de uso público como Google o AltaVista. Pese al nombre,
afortunadamente, la web invisible es perfectamente visible ya que los
contenidos de tales páginas y sitios web pueden ser vistos o bien mediante
un navegador convencional o bien mediante un navegador complementado
con algún programa adicional (plugin)
La Web invisible es el término utilizado
para describir toda la información disponible en Internet que no es recuperada
interrogando a los buscadores convencionales. Generalmente es información
almacenada y accesible mediante bases de datos.
Si bien el 90% de las bases de datos están
públicamente disponibles en Internet, los robots de los buscadores solamente
pueden indicar su página de entrada (homepage) y son incapaces de entrar dentro de las tablas e
indizar cada registro, les falta la habilidad para interrogarlas, seleccionar
sus opciones y teclear una consulta para extraer sus datos. La información
almacenada es por consiguiente "invisible" a estos, ya que los
resultados se generan en la contestación a una pregunta directa mediante
páginas dinámicas (ASP, PHP...) es decir páginas que no tienen una URL fija y
que se construyen en el mismo instante (temporales) desapareciendo una vez
cerrada la consulta.
Por cada millón de páginas visibles hay
otros 500 o 550 millones ocultas, contiene alrededor de unos 100.000 sitios y
el 90% suele ofertar su información pública y gratuitamente.
La información pública y gratuita del Web
invisible es actualmente de 400 a 550 veces mayor que el Web visible.
Caracterización de la Web invisible o profunda
Sherman y Price (2001) identifican cuatro tipos de contenidos invisibles en la Web:
la Web opaca (the opaque Web), la Web privada (the private Web),
la Web propietaria (the proprietary Web) y la Web realmente invisible (the
truly invisible Web).
1.- La Web opaca:
Se compone de archivos que podrían estar
incluidos en los índices de los motores de búsqueda, pero no lo están por
alguna de estas razones:
Extensión
de la indización: por economía, no todas las páginas de un sitio son indizadas
en los buscadores. Frecuencia
de la indización: los motores de búsqueda no tienen la capacidad de indizar
todas las páginas existentes; diariamente se añaden, modifican o desaparecen
muchas y la indización no se realiza al mismo ritmo. Número
máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un
gran número de resultados de búsqueda, generalmente limitan el número de
documentos que se muestran (entre 200 y 1000 documentos). URL’s
desconectadas: las generaciones más recientes de buscadores, como Google, presentan los documentos por
relevancia basada en el número de veces que aparecen referenciados o ligados en
otros. Si un documento no tiene un link desde otro documento será imposible que
la página sea descubierta, pues no habrá sido indizada.
No cabe duda de que los actuales buscadores y directorios de la web
están mejorando su funcionamiento. Más allá de los detalles técnicos que el
público no alcanza a ver, la eficiencia de estas maquinarias ha aumentado y
esto se aprecia en los resultados de las búsquedas. A medida que estas
herramientas se vayan haciendo más poderosas disminuirá la necesidad de la
elaboración manual de guías o concentradores de recursos y quizás más la de
orientación en las estrategias de búsqueda y en el uso y aprovechamiento de los
recursos localizados.
Un observador cuidadoso puede apreciar que persiste la práctica de
los robots de no indizar todas las páginas de un sitio, fijándose en los
resultados de las búsquedas que arrojan las diferentes herramientas. Por
ejemplo, se puede tener la referencia de una base de datos, disponible a través
de un sitio web, en una de las páginas del sitio que contiene un link a ella, y
no aparecer, en cambio, la referencia a la página de acceso directo a la base
de datos en ese sitio.
La frecuencia de la indización puede haber aumentado en algunos
buscadores, o incluso hacerse de forma diferenciada para algunos recursos.
Aquellas páginas que, por su naturaleza, varían más (por ejemplo, la
información bursátil) serían visitadas más frecuentemente por los robots que
aquellas que tienden a ser más estables en su contenido.
El número máximo de resultados visibles no es un problema cuando los
buscadores presentan los resultados ordenados por relevancia, pues siempre
aparecerán primero aquellos que se ajustan más a la búsqueda realizada. En la
medida en que se pueda realizar una búsqueda avanzada y los criterios de
relevancia combinen el número de ligas con la frecuencia de palabras, la
presentación de los resultados no constituirá un obstáculo para encontrar la
información. El usuario siempre debe tener en cuenta que los buscadores son más
apropiados cuando la búsqueda es específica, es decir, se conocen datos sobre
lo que se busca; mientras que es más adecuado realizar búsquedas temáticas en
los directorios.
Los URLs desconectados podrían evitarse si existiera la obligación
de registrar, aunque fuera de forma muy sencilla, toda página que se colgara en
la web. Pero dada la gran descentralización de Internet, esto no parece
vislumbrarse en un futuro inmediato.
2.- La Web privada:
Consiste en las páginas web que podrían estar
indizadas en los motores de búsqueda pero son excluidas deliberadamente por
alguna de estas causas:
Las páginas
están protegidas por contraseñas (passwords). Contienen
un archivo “robots.txt” para evitar ser indizadas. Contienen
un campo “noindex” para evitar que el buscador indice la parte correspondiente
al cuerpo de la página.
Este segmento de la web no representa una gran pérdida en términos
de valor de la información que contiene, ya que se trata, en general, de
documentos excluidos deliberadamente por su falta de utilidad. En cualquier
caso, son los dueños de la información los que deciden no hacerla disponible,
por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear
esa barrera. Además, los archivos robots.txt sirven para evitar que los robots
caigan en “agujeros negros”, que les hagan entrar en procesos circulares interminables,
mermando así la eficiencia en su funcionamiento
3.- La Web propietaria:
Incluye aquellas páginas en las que es necesario
registrarse para tener acceso al contenido, ya sea de forma gratuita o pagada.
Se dice que al menos 95% de la Web profunda contiene información de acceso
público y gratuito.
En un artículo reciente de la OCLC Office for
Research se examinan las tendencias en cuanto a tamaño, crecimiento e
internacionalización de la Web pública, es decir, la porción de
información más visible y accesible para el usuario promedio. Las principales
conclusiones del estudio son:
El
crecimiento de la Web pública muestra un estancamiento en los últimos años.
Ello se debe a que se crean menos sitios Web y otros desaparecen, aunque esto
no quiere decir que no aumente en volumen de información, es decir, en número
de páginas o número de Terabytes. Otra
posibilidad, que no se señala en este estudio, pero que puede aventurarse, es
que algunos sitios web estén transformándose en sitios accesibles solamente
mediante pago. La Web
pública está dominada por contenidos originados en los Estados Unidos, así como
escritos en inglés. Esto nos lleva a pensar que es probable que haya más
recursos invisibles en páginas originadas en países distintos a los Estados Unidos
y en idioma diferente al inglés.
4.- La Web realmente invisible:
Se compone de páginas que no pueden ser
indizadas por limitaciones técnicas de los buscadores, como las siguientes:
Páginas web
que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas ejecutables
y archivos comprimidos. Páginas
generadas dinámicamente, es decir, que se generan a partir de datos que introduce
el usuario. Información
almacenada en bases de datos relacionales, que no puede ser extraída a menos
que se realice una petición específica. Otra dificultad consiste en la variable
estructura y diseño de las bases de datos, así como en los diferentes
procedimientos de búsqueda.
Algunos buscadores tradicionales como Google han evolucionado y presentan ahora la
posibilidad de realizar búsquedas por materiales o formatos especiales, como
imágenes, audio y vídeo son posibles porque se realiza una catalogación textual
de éstos. Las búsquedas en materiales en formatos como PDF, Flash, etc. se
pueden realizar porque existen directorios de estos archivos. Así, el principal
medio por el cual se pueden efectuar las búsquedas es el texto. Por ejemplo, si
queremos recuperar imágenes en blanco y negro, éstas deben estar clasificadas
de ese modo en la base de datos. Esto implica, desde luego un proceso manual.
Recursos de búsqueda en la Web profunda por tipo
de recurso
Buscadores
Scirus
http://www.scirus.com/
WebSearch
http://www.websearch.com.au/
Metabuscadores
iBoogie
http://www.iboogie.tv/
Fazzle
http://www.fazzle.com/
Ixquick
http://www.ixquick.com/
Search.Com
http://www.search.com/
Directorios de buscadores
AlphaSearch
http://www.alphasearch.org/
Directorios
CompletePlanet
http://www.completeplanet.com/
Direct Search
http://www.freepint.com/gary/direct.htm
HotSheet
http://www.hotsheet.com/
IncyWincy
http://www.incywincy.com/
InternetInvisible
http://www.internetinvisible.com/
Librarians Index
http://lii.org/
Master Link List On the
Internet
http://www.web-friend.com/links/masterlinks.html
RefDesk.com
http://refdesk.com/
Webfile.com
http://webfile.com/
Where to Do Research
http://www.wheretodoresearch.com/
Directorios anotados
AcademicInfo
http://www.academicinfo.net/
Resource Discovery
Network
http://www.rdn.ac.uk/
Directorios de bases de datos
WebData.com
http://www.webdata.com/
Guías
About
http://www.about.com/
LibrarySpot
http://www.libraryspot.com/
Motores avanzados
Deep Query Manager (sustituye a Lexibot)
http://brightplanet.com/news/dqm2.asp
FeedPoint
http://www.quigo.com/feedpoint.htm
Search4science
http://www.search4science.com/
Strategic Finder
http://www.strategicfinder.com/
En conclusión, lo que realmente sigue siendo
invisible en la web son:
- Las páginas desconectadas;
- Las páginas no clasificadas que contienen principalmente imágenes, audio o vídeo;
- Las páginas no clasificadas que contienen principalmente archivos PDF,
- PostScript, Flash, Shockwave, ejecutables y comprimidos;
- El contenido de las bases de datos relacionales;
- El contenido que se genera en tiempo real;
- El contenido que se genera dinámicamente.
Pero:
- Algunos buscadores recuperan archivos PDF y páginas con imágenes, aunque de forma limitada;
- Es relativamente sencillo llegar hasta la “puerta” de las bases de datos con contenido importante;
- Existen ya motores avanzados capaces de realizar búsquedas directas simultáneas en varias bases de datos a la vez; y aunque la mayoría requieren de pago, también ofrecen versiones gratuitas;
- El contenido que se genera en tiempo real pierde validez con mucha velocidad, salvo para análisis históricos; es relativamente sencillo llegar hasta la “puerta” de los servicios que ofrecen información en tiempo real;
- El contenido que se genera dinámicamente interesa únicamente a ciertos usuarios con características específicas;
Es relativamente sencillo llegar hasta la
“puerta” de los servicios que ofrecen contenido generado dinámicamente.
De todo lo anteriormente expuesto, podemos acotar lo siguiente: Que Internet se divide en niveles:
a) El nivel 0: Web superficial descrita anteriormente.
b) Nivel 1: aquí se encuentran web un poco menos conocidas pero de fácil acceso. Son en su mayoría foros, páginas pornográficas y pequeñas páginas independientes de interés no tan común como en el nivel anterior.
c) Nivel 2: está compuesto por dominios web aún menos conocidas y por los buscadores independientes tales como lo son Ares y eMule. El material que se puede obtener en este nivel es de moralidad dudosa. El morbo suele ser un tema recurrente. Hasta aquí hemos tocado solo la parte superficial del ciber-mundo. A partir de aquí empieza lo realmente “interesante”. Es ahora cuando se da el primer paso dentro de Web profunda.
d) Nivel 3. Las páginas que se rigen en este oscuro mundo suelen tener dominios compuestos por caracteres dejados caer de manera totalmente aleatoria. En ellas no hay publicidad, ni color, y lo más significativo es que no se relacionan entre ellas como las páginas superficiales; de hecho, ni siquiera aparecen en buscadores como Google, ni aunque copies su enlace e intentes buscarlo. Aquí hay muchas cosas raras, muchas cosas perturbadoras, muchas inútiles —tales como las webs abandonadas, algunas por más de 25 años—, pero también muchas cosas útiles. En este sector quizá encuentres ese libro que tanto buscabas y que no encontrabas porque cerraron Megaupload, o esa película de antaño que ya nadie se molesta en subir, e incluso hay algunos foros interesantes. Pero la verdad es que la mayoría de lo que hay aquí tiene fines mucho más macabros y desagradables.
e) Nivel 4: lo niveles anteriores eran peligrosos, pero con un proxy y un buen detector de intrusos era suficiente. Aquí no. El cuarto nivel y lo que está por delante están plagados de hackers. Y por hackers se entiende a verdaderos piratas informáticos, los muy buenos, sobre todo en cuanto a robo y malversación de datos se refiere. Por supuesto el hecho de que esta gente esté aquí, significa que debe haber algo realmente bueno escondido en algún lugar de este nivel, y la verdad es que lo hay. En este nivel, además de todo lo que hay en los otros niveles, se puede ver Snuff en vivo o grabaciones y, además, se encuentra el “Mercado Negro”. Una página de ventas online como mercado libre, solo que aquí se venden artilugios de los mas macabros, además de drogas, armas, órganos, trata de blancas e incluso puedes contratar sicarios. Todo pagado con una moneda llamada BitCoin. Pero los hackers no están aquí de compras o para ver morbosidades varias, sino para trabajar. En este nivel se encuentran paginas encriptadas de numerosos gobiernos, donde se puede encontrar información sobre a qué va realmente destinado el dinero de esos países, leyes que piensan ser aprobadas y secretos de estado tales como expedientes sobre experimentos.
f) Nivel 5: Aquí se incluyen las informaciones, desarrollo y control de los secretos militares y de los Estados. También se cree que la “entidad” que realmente domina la economía y política del mundo, intercambia información entre sus miembros.
g) El Nivel 6. Que existe es una certeza y que es lo que hay ahí también. Solo los mejores hackers logran acceder a ella y el riesgo nunca es pequeño. El objetivo es la Database. El Database es la sección donde toda la información de la web deja de ser solo un código binario de 1 y 0 y comienza a tener sentido. Quien logre descifrar la clave del sistema –que tiene una extensión de kilómetro y medio de tipo numérico- será capaz de manipular cualquier dato de internet, desde el título de un foro, hasta valores de cuentas bancarias. Sencilla y llanamente, quien logre acceder al Database tendrá al mundo en la palma de su mano. La liberte: Es una página secreta donde se cuelga y postea información acerca de zion Pero ¿Que es Zion?
h) Nivel 7: (Zion) Es el nivel mas profundo de la web profunda o también se denomina el corazón de todo Internet, en el tienes acceso ilimitado a todo lo contenido en los anteriores 6 niveles para acceder a él. Esta asechada por los mejores hackers y científicos del mundo. Algunos dicen que es un mito, otros que es real. Como podéis ver, los niveles 6 y 7 son como de ciencia ficción, por lo menos para mí, que soy un recién llegado. Pero si buscáis en google “zion deep web” verás que existe bastante información. Bueno, será cuestión de seguir buscando…. Pero tener en cuenta que: Para navegar por la Web profunda se deben tomar muchas precauciones y se deben tener en cuenta varias reglas básicas para mantenerte seguro (o al menos para intentarlo).
Es importante tener en cuenta estas recomendaciones. La Web profunda es interesante pero peligrosa
Se necesita usar TOR para acceder a la gran cantidad de cosas de la Web profunda, si no lo haces te pones en riesgo y además no podrás acceder a los sitios .onion
Evita los sitios que digan pedo bear, hard candy, HC, CP… suele ser pornografía infantil, y es desagradable.
No descargues nada, o al menos nada de lo que no estés seguro.
Evita los “markets”, siempre que no busques algo específico.
¿Hacer amigos en la Web profunda? Evitarlo y mientras más profundo vayas, mejor es pasar inadvertido.
No uses tu mail ni te registres en nada, si lo haces, hazlo con cuentas de correo alternas y si es posible darte el trabajo de usar algo como riot mail, mejor.
No actives ningún plugin, no te conviene.
No bucees demasiado profundo en la Web profunda, mientras más abajo llegues, más riesgo hay de toparte con cosas que no deseas ver o cosas que otros no quieren que veas.
