Minería de Datos. Redundancia en Reglas de Asociación. Fac. Ciencias Ing. Informática Otoño de Dept. Matesco, Universidad de Cantabria

Transcripción

1 Minería de Datos Redundancia en Reglas de Asociación Cristina Tîrnăucă Dept. Matesco, Universidad de Cantabria Fac. Ciencias Ing. Informática Otoño de 2012

2 Reglas de Asociación Estándar Fijamos unos umbrales mínimos de soporte y confianza. Calculamos conjuntos frecuentes : subconjuntos cuyo soporte supera el umbral. En cada conjunto frecuente, probamos todas las maneras de poner un item como consecuente de la regla y el resto como antecedente, y filtramos las que no alcancen el umbral de confianza. (Perdemos las reglas con varios consecuentes.) Alternativa: para todo conjunto frecuente X y cada Y X, calculamos c(x \Y Y ) y retornamos sólo las reglas que alcanzan el umbral de confianza.

3 Abundancia de Reglas de Asociación El gran problema de este enfoque Preprocesas los datos, lanzas tu asociador, afinas los parámetros... Y cuando, finalmente, aciertas con valores que te proporcionan reglas un poco interesantes...

4 Abundancia de Reglas de Asociación El gran problema de este enfoque Preprocesas los datos, lanzas tu asociador, afinas los parámetros... Y cuando, finalmente, aciertas con valores que te proporcionan reglas un poco interesantes......salen decenas de miles de reglas. Y muchas te sobran.

5 Abundancia de Reglas de Asociación El gran problema de este enfoque Preprocesas los datos, lanzas tu asociador, afinas los parámetros... Y cuando, finalmente, aciertas con valores que te proporcionan reglas un poco interesantes......salen decenas de miles de reglas. Y muchas te sobran. United-States, White Husband United-States, White Married-civ-spouse United-States, White (En general, todas las que los datos no desmienten.)

6 Abundancia de Reglas de Asociación El gran problema de este enfoque Preprocesas los datos, lanzas tu asociador, afinas los parámetros... Y cuando, finalmente, aciertas con valores que te proporcionan reglas un poco interesantes......salen decenas de miles de reglas. Y muchas te sobran. United-States, White Husband United-States, White Married-civ-spouse United-States, White (En general, todas las que los datos no desmienten.) Necesitamos: Nociones precisas de redundancia entre reglas de asociación, métodos para encontrar bases no redundantes mínimas, y maneras de descartar las reglas poco novedosas.

7 Hacía la eliminación de redundancia en las reglas Clausuras y conjuntos cerrados Conjuntos cerrados Son los que no puedes ampliar sin perder soporte. En el momento de extender un conjunto con un item, comprobamos si el soporte decrece; si no lo hace, el conjunto no es cerrado. Más formal, un conjunto X I es cerrado si X = X, donde X es la clausura de X y se calcula con una de las dos fórmulas: X = {a I s(x {a}) = s(x )} = {t D X t}

8 Cómo definimos una regla redundante? Definimos: F τ = {X I s(x ) τ} (conjuntos frecuentes) FC τ = {X F τ Z X, s(z) < s(x )} (cerrados frecuentes) FG τ = {X F τ Y X, s(y ) > s(x )} (generadores minimales frecuentes)

9 Cómo definimos una regla redundante? Definimos: F τ = {X I s(x ) τ} (conjuntos frecuentes) FC τ = {X F τ Z X, s(z) < s(x )} (cerrados frecuentes) FG τ = {X F τ Y X, s(y ) > s(x )} (generadores minimales frecuentes) Decimos que X 2 Y 2 es redundante con respecto a X 1 Y 1 C(X 1 Y 1 ) = {X 2 Y 2 X1 X 2 and X 2 Y 2 X 1 Y 1 }

10 Reglas Representativas, I Reglas de asociación AR τ,γ = {X Y s(x Y ) τ, c(x Y ) γ} Reglas Representativas RR τ,γ = {r AR τ,γ r AR τ,γ \{r} tal que r C(r )}.

11 Reglas Representativas, I Reglas de asociación AR τ,γ = {X Y s(x Y ) τ, c(x Y ) γ} Reglas Representativas RR τ,γ = {r AR τ,γ r AR τ,γ \{r} tal que r C(r )}. Condiciónes necesarias ( pero no suficientes!) Si X Y RR τ,γ entonces XY FC τ y X FG τ.

12 Reglas Representativas, II Denotemos RI τ,γ = {Z FC τ X Z tal que X Z\X RRτ,γ }

13 Reglas Representativas, II Denotemos RI τ,γ = {Z FC τ X Z tal que X Z\X RRτ,γ } Teorema RI τ,γ = {Z FC τ γ mxgsτ,γ (Z) > mxs τ (Z)}, donde mxs τ (X ) = max({s(z) Z FC τ, Z X } {0}), mns τ (X ) = min({s(y ) Y FG τ, Y X } { }, mxgs τ (X ) = max({s(y ) Y FG τ, Y X, γ s(y ) s(x )} {0}).

14 Reglas Representativas, II Denotemos RI τ,γ = {Z FC τ X Z tal que X Z\X RRτ,γ } Teorema RI τ,γ = {Z FC τ γ mxgsτ,γ (Z) > mxs τ (Z)}, donde mxs τ (X ) = max({s(z) Z FC τ, Z X } {0}), mns τ (X ) = min({s(y ) Y FG τ, Y X } { }, mxgs τ (X ) = max({s(y ) Y FG τ, Y X, γ s(y ) s(x )} {0}). Teorema RR τ,γ = {X Z\X Z RI τ,γ, X Z, mxs τ (Z) < γ s(x ) s(z) > γ mns τ (X )}

15 Ejemplo Consideremos el siguiente conjunto de datos D = {abcdef, abcde, ab, ac, bc, ad} y sunpongamos que el umbral de soporte es τ = 0. a b c d e f 1/0 1 a b c d e 2/1 2 f 6/1 1 a b c 3/2 2 e 6/2 2 a d 3/2 3 a b 4/2 3 a c 4/2 3 b c 4/2 3 b d 3/2 2 c d 3/2 2 d 6/3 3 a 6/3 5 b 6/3 4 c 6/3 4 /5 6