Lo primero de todo deciros que con esta entrada estoy lejos de dar un sermón. De hecho hay muchas actividades profesionales, empresas e industrias que no se van afectadas en absoluto sino abren el grifo de la Internet profunda.
Menuda manera de empezar a vender una idea ¿Cierto?
Bueno pero es verdad. No creo que el frutero o el panadero de mi barrio estén o deban estar preocupados por saber porque deben navegar y explorar la web profunda.
Abrir el grifo de la Internet profunda esta más relacionado con actividades y empresas del conocimiento u organizaciones que necesitan hacer uso intensivo de la información. Aunque tampoco esta demás saber que existe.
Hecha la aclaración veamos las razones para utilizar este recurso y quienes pueden sacar más provecho de abrir este grifo de la Internet profunda.
Contenidos
Por qué debes abrir el grifo de la Internet profunda
Veamos, a día de hoy el tamaño de Internet sigue creciendo y por lo tanto lo hace también la Internet profunda donde se esconden contenidos de alto valor.
Por así decirlo estamos ante una mina en expansión. Esto a priori es una buena noticia. ¿Quien no querría que su yacimiento de petroleo creciera día a día?
En 2012 se estimaba que existían unos 555 millones de dominios en el mundo.
Cada uno de estos dominios a su vez contiene cientos, miles e incluso millones de páginas web únicas.
El peligro de seguir ignorando esta realidad, está no solo en el coste de oportunidad de alcanzar y explotar información valiosa para ti o tu negocio, sino en que tu competidor o competidores destapen el grifo de la Internet profunda antes que tu y realmente le saquen provecho.
Eso no es tan difícil y te diré por qué. Por que cada día son más y más las empresas y organizaciones que entienden que las oportunidades están en el correcto tratamiento de la información externa. Pero eso es otro tema.
La web profunda vs la Internet superficial de los buscadores convencionales
Empecemos por recordar rápidamente las diferencias principales entre ambos conceptos.
- La web superficial: es la parte de Internet que puede ser encontrada a través de técnicas de link crawling. Es decir la parte de Internet que esta formada por paginas webs con enlaces y datos enlazados por lo que puede ser indexada por los motores de búsqueda como Google.
- La Internet profunda: es la parte de Internet que no puede ser indexada por un buscador. Generalmente porque sus contenidos son dinámicos y no enlazados o están protegidos contra los motores de búsqueda al necesitar estos de un acceso. La única forma para un usuario de acceder a estas web es mediante una petición directa a la base de datos mediante una búsqueda.
De hecho es muy posible que atendiendo a las definiciones de arriba ya seas un usuario de la Internet profunda. Si estas suscrito o dado de alta a un servicio de pago o utilizas páginas como: Scirus, Infomine, OJOSE o Complete Plannet, entonces…usas la web profunda.
Sin embargo eso no quiere decir que hayas destapado el grifo de la Internet profunda. Ni mucho menos.
Abriendo el grifo de la Internet profunda para obtener los datos relevantes:
Para abrir el grifo de la Internet profunda debemos tener claro que no podemos aproximarnos a ella con el enfoque tradicional de un usuario normal.
Es decir, lanzar búsquedas manuales como hacemos con Google para obtener resultados de búsqueda de información validos.
Algunos estaréis pensando en TOR. Pero tampoco vamos a hablar de esto. Para mi TOR esta relacionado con lo que denominamos Web Oscura.
Es necesario y muy recomendable que ese trabajo sea realizado de forma automática en todas las fuentes o recursos de la Internet profunda que utilicemos, si queremos viajar al futuro de las búsquedas de información en Internet.
Esto se consigue aplicando técnicas de Web Scraping y programación de fuentes que nos permitan trabajar directamente con los formularios de las páginas HTML. Emulando las búsquedas de navegación humanas.
De esta forma podemos automatizar cientos de búsquedas para recuperar la información de nuestro interés en fuentes de información tanto de la web profunda o de la superficial.
Nuestra solución para esto se llama Intelligent Watcher. Intelligent Watcher permite crear un repositorio clasificado y navegable de informaciones limpias y completas.
Es importante señalar que esta solución al contrario de Google u otros motores de búsqueda esta preparada para extraer todos los contenidos de texto e imágenes de los resultados navegados para prepararlos para un posterior análisis.
Quien debería abrir el grifo de la Internet profunda
Ya he dicho al principio de esta entrada que abrir el grifo de la Internet profunda no es para todo el mundo.
No me imagino la utilidad que puede tener esta para el panadero o frutero de mi barrio…pero si existen otras situaciones más obvias en las que disponer de la Internet profunda es una necesidad urgente. Por ejemplo:
- Si estas en una industria de contratas o licitaciones públicas
- Por supuesto si eres un centro tecnológico o de investigación
- Cualquier empresa que este realizando investigación y desarrollo o tenga un departamento de este tipo
- Empresas del sector Químico, Farmacéutico, Salud o Alimentación.
- Empresas que necesiten cumplir con legislaciones muy estrictas en cuanto a etiquetados o ingredientes
- Desde luego empresas que estén exportando y deben cumplir con todos los requerimientos aduaneros
- Cualquier negocio con presencia importante en Internet
- Empresas del sector financiero y orientadas a la inversiones en mercados de capital
Bueno estos son algunos ejemplos validos aunque seguro hay más.
Si estas en uno de estos sectores y estas considerando destapar el grifo de la Internet profunda puedes contactar conmigo en este formulario y exponer tus dudas. Sin compromiso.