Predicción de palabras nicho con Weka

Transcripción

1 Predicción de palabras nicho con Weka Análisis de la viabilidad de un sistema de predicción de palabras nicho con Weka Álvaro Agea Herradón Universidad Carlos III de Madrid Fuenlabrada Madrid, España Jorge Fonseca Mesonero Universidad Carlos III de Madrid Leganés Madrid, España ABSTRACT Vamos a intentar describir que es el posicionamiento en buscadores y cuales son sus complicaciones, además vamos a intentar resolver el problema de las palabras nicho, las cuales supone un gasto de tiempo y recursos debido a que son palabras muy difíciles y en donde alcanzar los primeros puestos es algo complicado. Para ello vamos a utilizar Weka un programa de minería de datos que nos permitirá analizar diferentes algoritmos de clasificación. Categories and Subject Descriptors Mineria de datos [Clasificadores]: Algoritmos ; SEO [Posicionamiento web]: Palabras nicho General Terms Minería de datos, buscadores Keywords SEO, palabras nicho, buscadores, google, posicionamiento web, weka, mineria de datos 1. INTRODUCIÓN En un pais como España donde Google copa el 99% de las búsquedas que se realizan en Internet, estar en las primeras posiciones de una búsqueda en este motor es importante. Pero si lo que queremos hacer es una campaña de promoción en buscadores debemos pensar muy bien que palabras vamos a elegir. Esto es importante, porque puede dar al traste con nuestra campaña una mala elección de palabras. Para ello vamos a intentar analizar la problemática de las palabras nicho, palabras en donde es muy difícil colocarse en los primeros puestos. Para ello vamos a utilizar un recurso de fácil acceso como son el número de resultados de las búsquedas. Todo esto lo analizaremos en Weka un programa de minería de datos open source que nos permitirá experimentar con diferentes algoritmos. Tienes permiso para hacer copias, modificar y ampliar el contenido siempre bajo reconocimiento. UC3M 2008 Inteligencia en redes de comunicación Licencia Reconocimiento 3.0 Spain. License de Creative Commons Figure 1: Ejemplo de vision en F que se produce en una página de resultados de Google Por último analizaremos los resultado que nos devuelva esta herramienta y nos plantearemos si tenemos que añadir algún tipo de información en líneas futuras para conseguir que las predicciones sean muchos más exactas o para mejorar el sístema. También comprobaremos en que deducciones nos hemos equivocado y que conclusiones sacamos. 2. QUÉ SON LAS PALABRAS NICHO? 2.1 El top 10 de Google El SEO 1 consiste en optimizar los sitios web para que estos sean muchos más visibles en los motores de búsqueda. Es decir, conseguir salir en la primeras posiciones en lo buscadores como google para las palabras clave que el cliente cree que atraeran más visitas. Salir en las primera posiciones es muy importante ya que el usuario lee los resultado siguiendo el patrón F[2, 3] (vease la figura 1). Este afirma que el usuario centra su atencion en la linea superior de la pantalla y segun va descendiendo su mirada su atencion decrece. Debido a este efecto el primer resultado de una página acapara el 50% de los clics que se realizan en esa búsqueda, mientras el segundo resultado no alcanza el 15% de los clicks. Es más, solamente un 50% de los usuarios ven más allá del 1 Search Engine Optimization

2 Figure 4: Ejemplo de una distribución de Larga Cola metido a cumplir, para ello solo deja que halla un número determinado de palabras dificiles de posicionar. El técnico SEO intenta evitar las palabras donde hay mucha competencia, es decir, donde los primeros resutados ya han sido optimizados o donde estos tiene una fama que les hace dificil de superar, esta palabras donde la competencia es muy grande se denominan palabras nicho. Figure 2: Porcentajes de distribucion de los clicks, en una página de resultados de Google quinto resultado[4]. Todo esto hace que los primeros tres resultados sean fundamentales si quieres optar por promocionarte a través de buscadores. El problema es que conseguir aparacer en esos primeros resultados es complicado en muchos casos ya que la popularidad de las páginas principales puede ser tan superior que no se las puede desbancar de los primeros puestos. Por ejemplo, un problema que se encuentran los especialista en SEO para posicionar a webs para ciertas palabras clave es superar a los articulos de la Wikipedia. Estos articulos consiguen las primeras posiciones y debido a su popularidad son muy difíciles de retrasar en este ranking. 2.2 La importancia de la competencia Cuando un cliente analiza que palabras va a seleccionar debe fijarse en cuantas veces es buscado ese termino a lo largo del tiempo, de esta manera estimará cuantas visitas puede recibir de usuarios interesados en su servicios, o también llamados clientes potenciales. Para hacer este análisis utiliza herramientas como Google Trends que le permite conocer cuantas veces es buscada una palabra en Google. También herramientas como Google Suggest sugieren al cliente nuevas palabras relacionadas con la búsqueda que desea realizar. Con estas herramientas el cliente que precisa de los servicios SEO podrá disponer de una lista amplia de palabras relacionadas con su sector y que tengan un gran número de visitas. Pero el profesional SEO no aceptará todas las propuestas de palabras ya que no todas son igual de faciles de posicionar, dependerá del presupuesto cuantas palabras escogerá. Pongamos un ejemplo, una agencia de viajes desea aumentar el número de su visitas, para ello contrata un servicio SEO, los especialistas SEO le pidén al cliente una lista con las palabras por las cuales quiere aparecer en los primeros resultado. El servicio SEO no garantiza que al finalizar el contrato se consiga estar entre las diez primeras posiciones pero si garantiza que un porcentaje de estas estaran en esas posiciones de privilegio. Para ello estudia cada una de la palabras que el cliente ha seleccionado y juega con el margen que se ha compro- 2.3 Las palabras nicho y la teoría de la Larga Cola Las palabras nichos son búsquedas muy dificiles de posicionar debido a que hay muchas páginas que intentan estar entre los primeros puestos lo que complica la entrada de nueva competencia. Por ejemplo, la palabra viajes es una palabra nicho debido a que es una búsqueda que se realiza muchas veces, y a las páginas de viajes como a las compañias aéreas tienen intereses en captar este tipo de visitas. Esto no quiere decir que no se pueda conseguir posicionar a una página en el top 10 de esa búsqueda, pero no podemos asegurar que vayamos a conseguirlo en un plazo de tiempo corto. Además aunque estas páginas reportan mucho tráfico, estas,a veces, no son muy precisas lo cual hace que ese tráfico abandone la página defraudado. Por ejemplo, si vendemos coches podemos intentar poscionarmos por venta de coches la cual es una palabra nicho, sin embargo tal vez sea más interesante posicionarse por la palabra venta de coche Madrid ya que está palabra no es una palabra nicho y en caso de producirse una visita el usuario esta más enfocado a la búsqueda. Aunque las palabras nichos tiene muchas más búsquedas, el otro tipo de palabra permite encontrar más clientes potenciales de un servicio o producto, además de ser mucho más sencillo el posicionamiento de este tipo de palabras. El único incoveniente es la diferencia entre el número de búsquedas, esto se puede solucionar haciendo caso a la teoría de la Larga Cola[1] 2. Las palabras que se encuentran en la parte de la izquierda de la figura 4 son las que más frecuencia de búsqueda tienen, pero son muy pocas las que están situadas a ese lado de la gráfica y normalmente son palabras nicho. Sin embargo las palabras que tienen menos frecuenciason son más númerosas, es decir, en vez de posicionarnos en una 2 La larga cola es el nombre coloquial para una bien conocida característica de las distribuciones estadísticas (Zipf, Ley de potencias, distribuciones de Pareto o/y en general distribuciones de Lévy). La característica es también conocida como heavy tails, power-law tails, o las colas de Pareto.En estas distribuciones una amplia frecuencia o gran frecuencia de población es seguida por una baja frecuencia o baja amplitud de la población que disminuye gradualmente. En muchos casos, los acontecimientos de baja frecuencia o escasa amplitud pueden abarcar la mayor parte del gráfico.

3 Figure 3: Ejemplo de uso de Google Trends para las palabras viaje,vuelo,vacaciones y turismo. palabra con númerosas búsquedas, es mejor, posicionarse en muchas palabras que tiene menor número de búsquedas y aprovechar para que sean palabras clave más especificas y que representen al producto o servicio que queremos promocionar. Por eso el profesional SEO debe intentar descubrir cuales son estas e intentar de evitarlas, y aprovechando la Larga Cola escoger otras palabras con menor frecuencia de búsquedas que juntas alcancen aproximadamente el volumen de la palabra nicho. 3. PREDICCIÓN DE PALABRAS NICHO Para poder saber si una palabra es nicho el especialista SEO debe fijarse en varias variables desde el número de búsquedas, el número de resultado y la variedad que existe en los primero resultados de diferentes buscadores. Con este estudio vamos a intentar demostrar que no hace falta esto, ya que si hacemos unas búsquedas más avanzadas podemos saber cual son la palabras nicho conociendo únicamente el número de resultados. Realizaremos un análisis de diferentes algoritmos de clasificacion viendo cual es con el que obtenemos mejores resultados. 3.1 Desarrollo Para realizar el análisis de la eficacia de los algoritmos de clasicficación tenemos que encontrar un banco de palabras que nos permita comprobar si es posible resolver el problema sólo con el número de resultados de búsqueda. Para ello crearemos una aplicación PHP 3 que nos permita escribir una palabra y este se encargara en buscar en la página de resultados mediante expresiones regulares 4 el número de páginas que Google ha encontrado. 3 PHP es un lenguaje de programación interpretado, diseñado originalmente para la creación de páginas web dinámicas. 4 Una expresión regular, a menudo llamada también patrón, es una expresión que describe un conjunto de cadenas sin enumerar sus elementos. Después de obtener un banco de palabras vamos a utilizar varios algoritmos de clasificación para comprobar cual es la eficacia de ellos. Por último discutiremos que datos podríamos añadir para mejorar la calidad del decisor Creacion del banco de palabras Utilizamos dos bancos de palabras uno de ellos lo vamos a utilizar para el etrenamiento del algoritmo y otro para realizar el test. De esta manera se puede comprobar como generalizan los algoritmos que utilizamos. El banco de palabras se compondrá de un vector con el número de resultados de cada una de la palabra junto con una etiqueta que indica si es una palabra nicho. El vector de número de resultados no sólo contendrá los resultados de la búsqueda, además añadiremos búsquedas con etiquetas especiales que nos sirven para buscar información de manera más avanzada. key Es la llamada búsqueda amplia o búsqueda normal. El resultado que almacenamos es el que se genera al buscar las palabras clave en bruto si introducir ningun tipo de etiqueta. Strict Es la búsqueda estricta. Obtenemos el número de resultados pero añadiendo a la palabra clave comillas. Con este tipo de búsqueda el buscador devuelve las páginas que contiene la palabras exactas. inthetitle Buscamos que las palabras esten contenidas en el título. El buscador devuelve las pagina que contiene alguna de la palabras buscada en el titulo, no contando las palabras enlace(en, a, de...). Una técnica común que siguen las estrategias SEO es incluir las palabras clave en el titulo de la página, por tanto el número de resultados es importante. intitlestrict La palabras están contenidas en el título de manera estricta. Al igual que en la anterior las palabras claves tienen que estar en el contenido del título pero esta vez deben estar juntas, sin contar palabras enlace.

4 allinthetitle Todas las palabras estan contenidas en el título. El buscador sólo va a devolver las buscqueas que contengan todas las palabras que buscamos en el titulo de la página, estas no deben respetar ningún orden solo deben aparecer la etiqueta de título. allinthetitlestrict Todas las palabra contenidas en el titulo de manera estricta. Google sólo nos devolvera páginas donde todas las palbras incluida los elementos conectores estén en la etiqueta título. inurl La palabras deben estar contenidas en la url. Google filtra los resultado buscando las pagina que contengan en su url algunas de estas palabra sin contar los conectores. Otro método par conseguir encontrarse en las primeras posciones es utilizar url que contengan palabras clave, por lo que muchos técnicos SEO optán por crear subdominios o carpetas que contengan palabras clave, para esto es muy útil el mod rewrite 5 de apache. inurlstrict Las palabras deben estar contenidas en la url de manera estricta. Deben contener todas las claves, al igual que en el anterior, de manera ordenada en la url exceptuando los conectores. allinurl Todas las palabras deben estar contenidas en la url. La búsqueda esta restringida a las página que contengan en su url todas las palabras por las que se ha realizado la consulta. Estas pueden esta desordenadas y no incluyen a los conectores. allinurlstrict Todas las palabras deben estar contenidas en la url de manera estricta. La consulta esta limitada a los sitios que tengan todas las palabras de manera ordenada y también que incluya los elementos conectores. Para introducir las palabras al banco de palabras hemos realizado una pagina web en PHP. Esta permite introducir una palabra clave y decirle si es una palabra nicho Extracion de resultados La página que extráe los resultados realiza una consulta a la web de Google que se descarga toda la informacion de la página y mediante una expresion regular extrae el número de resultados. Para realizar la consulta abrimos un socket al puerto 80 de Google y hacemos una petición get. $page=""; $da = fsockopen(" 80, $errno, $errstr, 30); if (!$da) { echo "$errstr ($errno)<br />\n"; } else { $salida = "GET /search?hl=es&q=".$key." HTTP/1.1\r\n"; $salida.= "Host: \r\nUser-Agent: Mozilla/4.0\r\n"; $salida.= "Connection: Close\r\n\r\n"; fwrite($da, $salida); 5 El mod rewrite es una herramienta que ayuda a reescribir las direcciones webs para que séan más amigables para el usuario. } while (!feof($da)) { $page.= fgets($da, 128); } fclose($da); Despues de esto utilizamos una sencilla expresión regular que extra los números que se encuentran entre <b></b>. $patron=" <b>([\d]*)</b> U"; $page=str_replace(",", "", $page); $p=preg_match_all(" <b>([\d,]*)</b> U",$page, $matches); $result=0; if($p>0){ return $matches[1][2]; } return -1; De está manera podemos encontrar el número de resultado, y creamos la función getresult($ key) que con sólo indicarle la palabra haga todo el proceso. Otra funcion se encargará de hacer las peticiones para rellenar el vector de datos getvectorgoogle($ basickey). $key=get_result($basickey); $strict=get_result( ".$basickey. " ); $intitle=get_result("intitle:".$basickey); $intitlestrict=get_result( intitle:".$basickey. " ); $allintitle=get_result("allintitle:".$basickey); $allintitlestrict=get_result( allintitle:".$basickey. " ); $inurl=get_result("inurl:".$basickey); $inurltrict=get_result( inurl:".$basickey. " ); $allinurl=get_result("allinurl:".$basickey); $allinurlstrict=get_result( allinurl:".$basickey. " ); Este vector se almacena en un fichero arff que nos permita hacer el análisis en Weka. 3.2 Análisis en Weka Cuando ya hemos obtenido el banco de palabras realizamos el análisis de los resultado en Weka. Vamos a utilizar varios algoritmos que representen a las formas más tipicas de clasificadores. 1. Red bayesiana 2. Clasificador por regresión 3. Arbol 4. IBk con k=3 Vamos a entrenar a nuestro algoritmo con el 75% de las muestras y comprobar el resultado con el 25% restante Red Bayesiana Una red bayesiana, o red de creencia, es un modelo probabilístico multivariado que relaciona un conjunto de variables aleatorias mediante un grafo dirigido que indica explícitamente influencia causal. Gracias a su motor de actualización de probabilidades, el Teorema de Bayes, las redes bayesianas son una herramienta extremadamente útil en la estimación de probabilidades ante nuevas evidencias. Como se puede ver en la tabla 1 el nos hemos equivocado un 20% y siempre de manera positiva, es decir, hemos dicho que no es una palabra nicho y el clasficador ha decidico que si.

5 Table 2: Clasificación realizada por un clasificador por regresión. No 8 5 Figure 5: Detalle de los datos que vamos a utilizar para el análisis. Table 1: bayesiana. Clasificación realiada por una red No 8 5 Figure 7: Resultado de aplicar el clasificador por regresión Clasificador por regresión Este clasificador se basa en un modelo de regresión para variables dependientes o de respuesta binomialmente distribuidas. Es útil para modelar la probabilidad de un evento ocurriendo como función de otros factores, a este modelo se le conoce como regresión logistica. Como se puede ver en la tabla 2 el nos hemos vuelto a equivocar un 20% y en las mismas muestras. Lo cual nos hace pensar que tal vez nos hagan falta más datos Arbol Es un modelo de predicción utilizado en el ámbito de la inteligencia artificial, dada una base de datos se construyen diagramas de construcciones lógicas, muy similares a los sistemas de predicción basados en reglas, que sirven para representar y categorizar una serie de condiciones que ocurren de forma sucesiva, para la resolución de un problema. Como se puede ver en la tabla 3 nos hemos vuelto a equivocar un 20% pero en diferentes muestrar, las probabilidad de error es igual a la probabilidad de falsa alarma. Como podemos el arbol no ha cogido todas las variables del vector, esto significa,que nos sobrán variables ya que no aportan más información, por lo tanto, no conseguimos mayor precisión IBk con k=3 Es un modelo de prediccion muy utilizado ya que es muy sencillo es bastante preciso. Consiste en comprobar a cuanta distancia nos encontramos y del resto de elementos y coger el valor de los k mas cercanos. En nuestro caso hemos utilizado k=3 porque es el que mejor resultado nos ha dado. En este caso el error esta en el 12% lo cual es una reduccion considerable seguimos diciendo que hay más elemento nicho que los que hemos señalado. Figure 6: Resultado de aplicar el clasificador de red bayesiana. Table 3: Clasificación realizada por un arbol. No 8 5

6 Figure 8: Arbol generado para realizar la clasificación Table 4: Clasificación realizada por el algoritmo IBK. No CONCLUSIONES Los porcentajes de error conseguidos por los clasificadores no son altos, pero tampoco podemos considerarlos como buenos. Ademas el error positivo que hemos tenido en todos los casos indica que algún tipos de error sitemático que no hemos tenido en cuenta durante el proceso.tal vez un número mayor de muestra podrían haber corregido el problemas y haber conseguido unos resultados más precisos. Tambien podemos darnos cuenta que algunos valores que damos como información son irrelevantes ya que no aportan nada ni mejoran la precisión En lineas futuras podríamos probar a incluir otros datos, como por ejemplo, el número de enlaces que tienen las urls que aparecen en los primeros puestos. Esto daría un dato sobre la popularidad que tiene el sitio, es decir lo difici que es quitarlo de los primero puesto solamente porque tienen muchos enlaces dirigido hacia él. En definitica, aunque los porcentajes de error son asumibles y nos permite dar prediciones con un margen de confianza. 5. AGRADECIMIENTOS Quisieramos darle las gracias a Alex Vega especialista SEO que nos ha facilitado mucha información y nos ha ayudado a clasificar las palabras del banco de pruebas. 6. REFERENCES [1] Babalum. La larga estela - el fin de pareto. [2] Charlie. Diseño de un sitio: Seo, usabilidad y rentabilidad. [3] Charlie. Top 10: Tan efectivo como el primer lugar., Agosto [4] Duque. Tráfico estimádo. Figure 9: Resultado de aplicar el clasificador IBK.