Unidad 5: Entropía y Fuente del Teorema de Codificación de Shannon
|
|
- Julián Blázquez Redondo
- hace 6 años
- Vistas:
Transcripción
1 Unidad 5: Entropía y Fuente del Teorema de Codificación de Shannon
2 En ésta unidad empezamos a ver la teoría de la información, al cual nos permitirá aprender mas sobre las propiedades fundamentales de códigos generales sin tener que diseñarlos. La teoría de la información es una parte de la física que trata de describir qué es la información y cómo podemos trabajar con ella. Como todas las teorías en la física, es un modelo del mundo real el cual es aceptado como verdadero siempre mientras que éste pueda predecir con suficiente precisión cómo actúa la naturaleza.
3 Motivación Empezamos éste subtema preguntándonos sobre lo que es la información. A partir de éste punto, podemos reforzar varios puntos, tales como: El número de posibles respuestas r a algún problema o pregunta debería de estar relacionada con la información. La información debería de ser aditiva de alguna forma (o sea, se acumula a medida que se obtiene más información). Una medida de la información correcta necesita tomar en consideración las probabilidades de los varios posibles eventos
4 Podemos calcular cualquier medida deseada información con la fórmula I U log b r Donde r es el número de todos los resultados posibles de un mensaje aleatorio U. Podemos utilizar ésta fórmula para confirmar la propiedad antes mencionada de la adición: I U 1, U 2,, U n = log b r n = n log b r = n I(U)
5 La medida de la información de Shannon es una información de Hartley promedio, la cual es representada de la siguiente manera: r i=1 p i log 2 1 p i r = p i log 2 p i i=1 Donde pi denota la probabilidad del resultado posible en la i vez
6 Incertidumbre o entropía Debido a su relación con un concepto que corresponde a diferentes áreas de la física, Shannon denominó a su medida como entropía; sin embargo, incertidumbre es una definición más precisa. Dicho esto, la entropía o incertidumbre de un mensaje aleatorio U que toma diferentes valores r con probabilidad pi, i=1,, r, es definida como: H U p i log b p i r i=1
7 Es importante señalar que cada vez que sumamos sobre p i log b p i, podemos asumir que implícitamente se excluyen todos los índices i con pi = 0 También es importante señalar que en el caso que todos los eventos r son igualmente probables, la definición de entropía de Shannon se reduce a la medición de Hartley: p i = 1 r, i: H U = 1 r r i=1 log b 1 r = 1 r log br 1 r i=1 = log b r
8 Función de entropía binaria En éste caso, si U es binaria con dos posibles valores u 1 y u 2 de dicha manera que Pr[U=u1] = p y Pr[U=u2] = 1 p, entonces: H U = H b (p), Donde H b ( ) es llamada la función de entropía binaria, y ésta es definida como: H b p plog 2 p 1 p log 2 1 p, p [0,1]
9 La Teoría de la Información Desigualdad Ésta desigualdad no tiene un nombre exacto, pero ya que es muy importante en la teoría de la información se le conoce como la Teoría de la Información Desigualdad o la Desigualdad TI, la cual estipula que para cualquier base b > 0 y cualquier ξ > 0: 1 1 ξ log be log b ξ (ξ 1) log b e Con desigualdades en ambos lados si, y únicamente si, ξ = 1
10 Límites de la entropía Si U tiene r posibles valores, entonces: 0 H U log 2 r bits En donde: H U = 0 si, y únicamente si, p i = 1 para alguna i H U log 2 r bits si, y únicamente si, p i = 1 r i
11 Árboles revisitado Considera un árbol binario con probabilidades. Recuerda que: n denota el número total de hojas pi, i=1,, n, denota las probabilidades de las hojas N denota el número de nodos (incluyendo la raíz pero excluyendo las hojas) Pl, l=1,, N, denota las probabilidades de los nodos, en donde por definición p1 = 1 es la probabilidad de la raíz. Además se utilizará ql,j para denotar la probabilidad del nodo/hoja j que está un paso delante de l (el hijo j del nodo l) donde j = 0,1.
12 La entropía de hojas es definida como H hoja n i=1 p i log 2 p i Denotando que P1, P2,, Pn son las probabilidades de todos los nodos (incluyendo la raíz) y que por qj,l la probabilidad de los nodos y hojas un paso adelante del nodo l, podemos definir a la entropía derivativa hj del nodo l como: H l q l,0 P l log 2 q l,0 P l q l,1 P l log 2 q l,1 P l
13 Teorema de Entropía de Hojas: En cualquier árbol con posibilidades tenemos que: H hoja = N l=1 P l H l
14 Codificación de una fuente de Información Una fuente discreta sin memoria r-aria (DMS) es un dispositivo cuya salida es una secuencia de mensajes aleatorios U1, U2, U3,, donde: Cada Ul puede aceptar diferentes valores r con probabilidades p1,, pr y Los diferentes mensajes Ul son independientes el uno del otro
15 El teorema de Codificación de Código de Shannon/Teorema de codificación para un DMS: Existe un código binario libre de prefijos de un mensaje bloque-v de una fuente discreta sin memoria (DMS) de tal manera que el número promedio lav/v de dígitos de código binario por cada letra fuente satisface lo siguiente: L av v < H U + 1 v bits, En donde H(U) es la entropía de una sola letra medida en bits y v es un vector de mensajes aleatorios. Inversamente, por cada código binario de un mensaje bloque-v: L av v H U bits
16 Note que siempre necesitamos escoger las unidades de la entropía para que se encuentren en bits. Esto se debe a que, al escoger un v suficientemente grande, podemos acercarnos arbitrariamente cerca al límite definitivo de compresión H(U) cuando usamos códigos de Huffman o Fano. En otras palabras, podemos comprimir cualquier DMS a bits D(U) en promedio, pero no menos. Mientras más cerca nos queremos acercar al límite definitivo de la entropía, más grande es nuestro retraso potencial en el sistema.
17 Un sistema verdaderamente práctico debería de trabajar independientemente de la fuente asociada; en otras palabras, debería de estimar las probabilidades de los símbolos fuente al instante para poder adaptarse a éstos automáticamente. Tal sistema es denominado un esquema de compresión universal. Dichos sistemas existen y son utilizados en algoritmos de compresión; un ejemplo de un sistema que implementa dichos sistemas es el ZIP.
2 de mar de 2004 Codificación de imágenes y v ideo
Teoría de la Información 2 de mar de 2004 Codificación de imágenes y v ideo 2 de mar de 2004 Codificación de imágenes y video 2 El clima en el Río de la Plata...... N L N N L S N... N L L T L L L... N
Más detallesTeoría de la información breve introducción práctica. Javier García, Graphics & Imaging Laboratory (UdG)
Teoría de la información breve introducción práctica Javier García, Graphics & Imaging Laboratory (UdG) Contenido Introducción Definición de Información y Entropía Ejemplos de aplicación I Ejemplos de
Más detallesIntroducción a la Teoría de la Información
Introducción a la Teoría de la Información Codificación de fuentes Facultad de Ingeniería, UdelaR (Facultad de Ingeniería, UdelaR) Teoría de la Información 1 / 43 Agenda 1 Codificación de fuente Definiciones
Más detallesEstructura de Datos. Códigos de Huffman. Primer Semestre, Compresión de Archivos. Compresión de Archivos
Estructura de Datos Códigos de Huffman Prof.: Mauricio Solar Prof.: Lorna Figueroa Primer Semestre, 2 Los algoritmos estudiados hasta ahora han sido diseñados, en general, para que utilicen el menor tiempo
Más detallesUniversidad Simón Bolívar Departamento de Computación y Tecnología de la Información Organización del Computador CI-3815
Universidad Simón Bolívar Departamento de Computación y Tecnología de la Información Organización del Computador CI-385 Proyecto Objetivos Generales: realizar un programa en lenguaje de bajo nivel del
Más detallesAnálisis y Complejidad de Algoritmos. Arboles Binarios. Arturo Díaz Pérez
Análisis y Complejidad de Algoritmos Arboles Binarios Arturo Díaz Pérez Arboles Definiciones Recorridos Arboles Binarios Profundidad y Número de Nodos Arboles-1 Arbol Un árbol es una colección de elementos,
Más detallesUn canal de comunicación puede ser definido como el medio a través del cual la señal del mensaje se propaga desde la fuente hasta el destino.
Un canal de comunicación puede ser definido como el medio a través del cual la señal del mensaje se propaga desde la fuente hasta el destino. Se dice que un canal es ruidoso si la lectura de los datos
Más detallesCompresión. UCR ECCI CI-2414 Recuperación de Información Prof. M.Sc. Kryscia Daviana Ramírez Benavides
UCR ECCI CI-2414 Recuperación de Información Prof. M.Sc. Kryscia Daviana Ramírez Benavides Introducción Grandes cantidades de información textual en la Internet. Se desea representar esta información con
Más detallesTeoría de la Información
Teoría de la Información - Clase práctica - Teoría de las Comunicaciones Departamento de Computación Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires 12.08.2015 Teoría de las Comunicaciones
Más detallesCompresión de Vídeo. Juan A. Michell Mar>n Gustavo A. Ruiz Robredo. Tema 1.5. Codificación entrópica. Departamento de Electrónica y Computadores
Compresión de Vídeo Tema.5. Codificación entrópica Juan A. Michell Mar>n Gustavo A. Ruiz Robredo Departamento de Electrónica y Computadores Este tema se publica bajo Licencia: Crea9ve Commons BY- NC- SA
Más detallesAlgoritmos glotones 2 (código de Huffman) mat-151
Algoritmos glotones 2 (código de Huffman) mat-151 Alonso Ramírez Manzanares Computación y Algoritmos 05.06.2009 Son técnicas muy efectivas para comprimir datos. Alcanzan una compresión de entre 20% y 90%
Más detallesEL4005 Principios de Comunicaciones Clase No. 11: Modelamiento de Fuentes de Información
EL4005 Principios de Comunicaciones Clase No. 11: Modelamiento de Fuentes de Información Patricio Parada Néstor Becerra Yoma Departamento de Ingeniería Eléctrica Universidad de Chile 18 de Noviembre de
Más detallesCI5438. Inteligencia Artificial II Clase 4: Aprendizaje en Árboles. Cap 18.3: RN
CI5438. Inteligencia Artificial II Clase 4: Aprendizaje en Árboles de Decisión Cap 18.3: RN Universidad Simón Boĺıvar 5 de octubre de 2009 Árboles de Decisión Un árbol de decisión es un árbol de búsqueda
Más detallesSobre Codificación Conjunta Fuente-Canal
UNIVERSIDAD CARLOS III DE MADRID ESCUELA POLITECNICA SUPERIOR MASTER EN MULTIMEDIA Y COMUNICACIONES Sobre Codificación Conjunta Fuente-Canal Luca Martino FEBRERO DE 2008 FEBRERO DE 2008 1 Introducción:
Más detallesF. Javier Gil Chica 2010
hc Manual de usuario y notas de implementación F. Javier Gil Chica 2010 Parte I Manual de usuario 1. Qué es hc hc es un compresor por códigos de Huffman. La compresión de Huffman es un ejercicio de programación
Más detallesTema 7: Teoría de la Información Estadística p. 1/16
Tema 7: Teoría de la Información Estadística p. 1/16 Tema 7: Teoría de la Información Estadística Abdelamlik Moujahid, Iñaki Inza, Pedro Larrañaga Departamento de Ciencias de la Computación e Inteligencia
Más detallesTeoría de la Información Estadística p. 1/1
Teoría de la Información Estadística Pedro Larrañaga, Iñaki Inza Departamento de Ciencias de la Computación e Inteligencia Artificial Universidad del País Vasco http://www.sc.ehu.es/isg/ Teoría de la Información
Más detallesÁRBOLES CRISTIAN ALFREDO MUÑOZ ÁLVAREZ JUAN DAVID LONDOÑO CASTRO JUAN PABLO CHACÓN PEÑA EDUARDO GONZALES
ÁRBOLES CRISTIAN ALFREDO MUÑOZ ÁLVAREZ JUAN DAVID LONDOÑO CASTRO JUAN PABLO CHACÓN PEÑA EDUARDO GONZALES ÁRBOL Un árbol es un grafo no dirigido, conexo, sin ciclos (acíclico), y que no contiene aristas
Más detallesTeoría de Información y Codificación Ejercicios adicionales (temas correspondientes al primer parcial)
Teoría de Información y Codificación Ejercicios adicionales (temas correspondientes al primer parcial) 1. Calcular la tasa de entropía H r de una fuente de Markov estacionaria con m símbolos, con probabilidades
Más detallesPráctica 5. Códigos Huffman y Run-Length
EC2422. Comunicaciones I Enero - Marzo 2009 Práctica 5. Códigos Huffman y Run-Length 1. Objetivos 1.1. Simular, usando MATLAB, un codificador y decodificador Huffman a fin de estudiar sus características
Más detallesTRANSMISIÓN DE DATOS 2005/06. Lea atentamente estas instrucciones y no de la vuelta a esta hoja hasta que se le indique
Control Intermedio Apellidos, nombre DNI TRANSMISIÓN DE DATOS 2005/06 21 de noviembre de 2005 Calificación Lea atentamente estas instrucciones y no de la vuelta a esta hoja hasta que se le indique Este
Más detallesAprendizaje Automático. Objetivos. Funciona? Notas
Introducción Las técnicas que hemos visto hasta ahora nos permiten crear sistemas que resuelven tareas que necesitan inteligencia La limitación de estos sistemas reside en que sólo resuelven los problemas
Más detallesTema 2. Códigos sin prefijos
Tema 2. Códigos sin prefijos José A. Montenegro Dpto. Lenguajes y Ciencias de la Computación ETSI Informática. Universidad de Málaga monte@lcc.uma.es 26 de septiembre de 2013 José A Montenegro (monte@lcc.uma.es)
Más detallesTratamiento probabilístico de la Información. INGENIERÍA DE SISTEMAS Cursada 2017
TEORÍ DE L INFORMCIÓN Tratamiento probabilístico de la Información Compresión de datos INGENIERÍ DE SISTEMS Cursada 7 COMPRESIÓN DE DTOS Objetivo: Reducir la cantidad de datos para representar la información,
Más detallesAlgoritmos y Complejidad
Algoritmos y Complejidad Algoritmos greedy Pablo R. Fillottrani Depto. Ciencias e Ingeniería de la Computación Universidad Nacional del Sur Primer Cuatrimestre 2017 Algoritmos greedy Generalidades Problema
Más detallesMATRIZ DE ARBOLES DE DECISION
MATRIZ DE ARBOLES DE DECISION Los árboles son un subconjunto importante de los grafos, y son una herramienta útil para describir estructuras que presentan algún tipo de jerarquía. Las dificultades de las
Más detallesIntroducción a la Teoría de la Información Codificación de fuentes
Introducción a la Teoría de la Información Codificación de fuentes Facultad de Ingeniería, UdelaR (Facultad de Ingeniería, UdelaR) Teoría de la Información 1 / 1 Agenda (Facultad de Ingeniería, UdelaR)
Más detallesSISTEMAS DE COMUNICACIONES
Capítulo 3 SISTEMAS DE COMUNICACIONES Un sistema de comunicaciones es un conjunto de dispositivos que son utilizados con la finalidad de transmitir, emitir y recibir señales de todo tipo, como voz, datos,
Más detallesAlgo sobre Compresión de Datos
Algo sobre Compresión de Datos Un conflicto histórico Algoritmos tradicionalmente diseñados para ahorrar tiempo..y espacio Posibles conflictos: Estructuras que son más eficientes en términos de tiempo
Más detallesALGORITMO ID3. Objetivo
ALGORITMO ID3 Desarrollado por J. Ross Quinlan en 1983. ID3 significa Induction Decision Trees. Pertenece a la familia TDIDT (Top- Down Induction of Decision Trees). Objetivo Construir un árbol de decisión
Más detallesSistemas de comunicación
Sistemas de comunicación Práctico 6 Teoría de la Información Cada ejercicio comienza con un símbolo el cuál indica su dificultad de acuerdo a la siguiente escala: básica, media, avanzada, y difícil. Además
Más detallesComunicaciones Digitales
Trabajo Práctico Codificación de Fuente Comunicaciones Digitales E.1 Una fuente tiene un alfabeto {a1,a, a3, a4, a5, a6} con sus correspondientes probabilidades {0.1,0.,0.3,0.05,0.15,0.}. Encontrar la
Más detallesAnálisis de algoritmos
Practica 04: Codificación voraz de Huffman Entrega vía Web: 05 de Julio de 2015 M. en C. Edgardo Adrián Franco Martínez http://computacion.cs.cinvestav.mx/~efranco @efranco_escom edfrancom@ipn.mx 1 Contenido
Más detallesCompresión de Datos. Método de Huffman. Dpto. Informática
Compresión de Datos Método de Huffman Manipulación y Preservación de Datos Dpto. Informática Ing. Mariano D'Agostino Introducción La compresión de datos es el proceso de convertir una cadena de datos de
Más detallesMASTER DE INGENIERÍA BIOMÉDICA. Métodos de ayuda al diagnóstico clínico. Tema 6: Árboles de decisión.
MASTER DE INGENIERÍA BIOMÉDICA. Métodos de ayuda al diagnóstico clínico. Tema 6: Árboles de decisión. 1 Objetivos del tema Conocer en qué consiste un árbol de decisión. Aprender los problemas que pueden
Más detallesLógica: Algoritmo: Archivo: Base de datos: Bit:
Lógica: Algoritmo: Archivo: Base de datos: Bit: 1 LÓGICA: Es una secuencia de operaciones realizadas por el hardware o por el software. Lógica del hardware, Son los circuitos y Chips que realizan las operaciones
Más detallesBanda Ancha. Compresión, Almacenamiento y Transmisión Eficiente de Señales de Voz, Video y Datos. MSc. Luis Rojas
Banda Ancha Compresión, Almacenamiento y Transmisión Eficiente de Señales de Voz, Video y Datos MSc. Luis Rojas INTRODUCCIÓN Para el almacenamiento y transmisión eficiente de señales de voz, video y texto
Más detallesIntroducción a la Teoría de la Información
Introducción a la Teoría de la Información Entropía diferencial. Facultad de Ingeniería, UdelaR (Facultad de Ingeniería, UdelaR) Teoría de la Información 1 / 19 Definición Definición (Entropía diferencial)
Más detallesÁrboles. Un grafo no dirigido es un árbol si y sólo si existe una ruta unica simple entre cualquiera dos de sus vértices.
ÁRBOLES Árboles Un grafo conectado que no contiene circuitos simples. Utilizados desde 1857, por el matemático Ingles Arthur Cayley para contar ciertos tipos de componentes químicos. Un árbol es un grafo
Más detallesEL4005 Principios de Comunicaciones Clase No.22: Señalización Ortogonal
EL4005 Principios de Comunicaciones Clase No.22: Señalización Ortogonal Patricio Parada Departamento de Ingeniería Eléctrica Universidad de Chile 29 de Octubre de 2010 1 of 34 Contenidos de la Clase (1)
Más detallesAlmacenamiento de imágenes digitales. Primera parte
Almacenamiento de imágenes digitales Primera parte Representación de Imágenes Digitales Representar una imagen de n x n píxeles mediante una matriz requiere: n 2 bits si es binaria n 2 log 2 (L) bits si
Más detallesAnálisis y Diseño de Algoritmos
Análisis y Diseño de Algoritmos Algoritmos Voraces DR. JESÚS A. GONZÁLEZ BERNAL CIENCIAS COMPUTACIONALES INAOE Introducción Siempre toman la mejor opción en cada momento (punto de decisión del algoritmo)
Más detallesEL4005 Principios de Comunicaciones Clase No.10: Repaso de Probabilidades
EL4005 Principios de Comunicaciones Clase No.10: Repaso de Probabilidades Patricio Parada Departamento de Ingeniería Eléctrica Universidad de Chile 10 de Septiembre de 2010 1 of 29 Contenidos de la Clase
Más detallesI. CARACTERISTICAS DEL ALGORITMO ID3
I. CARACTERISTICAS DEL ALGORITMO ID3 El investigador J. Ross Quinlan desarrolló el algoritmo conocido como ID3 (Induction Decision Trees) en el año de 1983. Pertenece a la familia TDIDT (Top-Down Induction
Más detallesTeoría de la Información Estadística
Teoría de la Información Estadística Pedro Larrañaga, Iñaki Inza Intelligent Systems Group Departamento de Ciencias de la Computación e Inteligencia Artificial Universidad del País Vasco MMCC 2005-2006
Más detallesCOMPRESIÓN DE MENSAJES
COMPRESIÓN DE MENSAJES Codificación por Huffman y Codificación Aritmética. Jose Alberto Benítez Andrades Juan Antonioo Valbuena López 2º Ingeniería Informática Teoría de la Información y Códigos Universidad
Más detallesProcesamiento Digital de Imágenes. Pablo Roncagliolo B. Nº 16
Procesamiento Digital de Imágenes Pablo Roncagliolo B. Nº 16 Orden de las clases... CAPTURA, DIGITALIZACION Y ADQUISICION DE IMAGENES TRATAMIENTO ESPACIAL DE IMAGENES TRATAMIENTO EN FRECUENCIA DE IMAGENES
Más detallesARBOLES DE DECISION. Miguel Cárdenas-Montes. 1 Introducción. Objetivos: Entender como funcionan los algoritmos basados en árboles de decisión.
ARBOLES DE DECISION Miguel Cárdenas-Montes Los árboles de decisión son estructuras lógicas con amplia utilización en la toma de decisión, la predicción y la minería de datos. Objetivos: Entender como funcionan
Más detallesFICHEROS Y BASES DE DATOS (E44) 3º INGENIERÍA EN INFORMÁTICA. Tema 3. Estructuras de Almacenamiento. Básicas. Definición y Manejo.
FICHEROS Y BASES DE DATOS (E44) 3º INGENIERÍA EN INFORMÁTICA Tema 3. Estructuras de Almacenamiento Básicas. Definición y Manejo. 1.- Búsqueda de Información. Definición de Clave. 2.- Definición y Manejo
Más detallesMatemáticas Discretas Probabilidad
Coordinación de Ciencias Computacionales - INAOE Matemáticas Discretas Probabilidad Cursos Propedéuticos 2010 Ciencias Computacionales INAOE Teoría de Probabilidad Considero que la probabilidad representa
Más detallesArboles de Decisión (II) Carlos Hurtado L. Depto de Ciencias de la Computación, Universidad de Chile
Arboles de Decisión (II) Carlos Hurtado L. Depto de Ciencias de la Computación, Universidad de Chile Arboles de Decisión Algoritmo de Hunt (I) Nodo interior Nodo por expandir Nodo hoja Algoritmo de Hunt
Más detallesAnálisis de algoritmos
Practica 03: Codificación voraz de Huffman M. en C. Edgardo Adrián Franco Martínez http://www.eafranco.com edfrancom@ipn.mx @edfrancom edgardoadrianfrancom 1 Contenido Definición del problema Algoritmo
Más detallesBits, bans y nats: Unidades de medida de cantidad de información
Bits, bans y nats: Unidades de medida de cantidad de información Junio de 2017 Apellidos, Nombre: Departamento: Centro: Flores Asenjo, Santiago J. (sflores@dcom.upv.es) Dep. de Comunicaciones EPS de Gandia
Más detallesCaracterísticas y uso. Recordando. La criptografia define una función de
Introducción Criptografía Simétrica Características y uso Lámina 1 Recordando La criptografia define una función de transformación de un mensaje con base a un elemento base o llave, para obtener un nuevo
Más detallesAnálisis y Diseño de Algoritmos
Análisis y Diseño de Algoritmos Ordenamiento en Tiempo Lineal DR. JESÚS A. GONZÁLEZ BERNAL CIENCIAS COMPUTACIONALES INAOE Ordenamiento por Comparación (Comparison Sorts) Tiempo de ejecución HeapSort y
Más detalles12/08/2017 AVL. Especificación sobre árboles AVL. AVL: rotaciones
VL Se dice que un árbol binario está balanceado si y sólo si en cada nodo las alturas de sus 2 subárboles difieren como máximo en 1. Todos los árboles perfectamente balanceados son árboles VL. Especificación
Más detallesAlgoritmos y Estructuras de Datos III
Árboles Algoritmos y Estructuras de Datos III Árboles Definición: Un árbol es un grafo conexo sin circuitos simples. Árboles Teorema: Dado un grafo G = (V, X ) son equivalentes: 1. G es un árbol. 2. G
Más detallesElementos de Probabilidad y Estadística. Primer Examen. Parte 2
Elementos de Probabilidad y Estadística Primer Examen Parte 2 Para entregar antes de las 2:30 pm del jueves 3 de marzo de 204. Este examen es estrictamente individual. Puedes consultar libros o notas de
Más detallesCC40A Complejidad de Kolmogorov
CC40A Complejidad de Kolmogorov Ricardo Baeza Yates, Rodrigo Paredes Dept. de Ciencias de la Computación, Universidad de Chile. 1. Definiciones Básicas La Complejidad de Kolmogorov (CK) de un string s
Más detallesModelos estadísticos y la entropía del lenguaje. Dr. Luis Alberto Pineda Cortés
Modelos estadísticos y la entropía del lenguaje Dr. Luis Alberto Pineda Cortés Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov
Más detallesOrden de las clases...
Procesamiento Digital de Imágenes Pablo oncagliolo B. Nº 6 Orden de las clases... CAPTUA, DIGITALIZACION Y ADQUISICION DE IMAGENES TATAMIENTO ESPACIAL DE IMAGENES TATAMIENTO EN FECUENCIA DE IMAGENES ESTAUACION
Más detallesIndexación y Asociación
Bases de Datos Indexación y Asociación Contenidos Conceptos básicos Indices Ordenados Árboles B+ ArbolesB Asociación estática Bases de Datos Indexación y Asociación 2 Conceptos básicos Los Indices se utilizan
Más detallesEstructuras de Datos. Practica 06: Codificación de Huffman
M. en C. Edgardo Adrián Franco Martínez http://www.eafranco.com edfrancom@ipn.mx @edfrancom edgardoadrianfrancom 1 Contenido Definición del problema Algoritmo de Huffman Pasos del código de Huffman Actividades
Más detallesCapítulo 1. Teoría de la probabilidad Teoría de conjuntos
Capítulo 1 Teoría de la probabilidad 1.1. Teoría de conjuntos Definición 1.1.1 El conjunto S de todos los posibles resultados de un experimento aleatorio es llamado el espacio muestral. Un espacio muestral
Más detallesRelación de Ejercicios. Programación Paralela 4º de Grado en Ingeniería Informática.
1. Por qué el modelo de programación que se sigue al programar con MPI es independiente de la asignación? 2. Describir gráficamente una solución eficiente para realizar una operación de reducción global
Más detallesAprendizaje Automático
id3 id3 como búsqueda Cuestiones Adicionales Regresión Lineal. Árboles y Reglas de Regresión Ingeniería Informática Fernando Fernández Rebollo y Daniel Borrajo Millán Grupo de Planificación y Aprendizaje
Más detalles2. SEÑALES Y SISTEMAS DISCRETOS EN EL TIEMPO. Una señal puede ser definida como una portadora física de información. Por ejemplo,
2. SEÑALES Y SISTEMAS DISCRETOS EN EL TIEMPO Una señal puede ser definida como una portadora física de información. Por ejemplo, las señales de audio son variaciones en la presión del aire llevando consigo
Más detallesA veces queremos almacenar algún elemento que es Verdadero o Falso. Este tipo de dato se llama Booleano y su representación es sencilla, para cada
Hemos visto que los ordenadores modernos son máquinas digitales que sólo funcionan con datos binarios. Así que necesitamos una representación binaria de cada dato que queremos usar en un ordenador. El
Más detallesEVALUACIÓN EN APRENDIZAJE. Eduardo Morales y Jesús González
EVALUACIÓN EN APRENDIZAJE Eduardo Morales y Jesús González Significancia Estadística 2 En estadística, se dice que un resultado es estadísticamente significante, cuando no es posible que se presente por
Más detallesAprendizaje Automático para el Análisis de Datos GRADO EN ESTADÍSTICA Y EMPRESA. Ricardo Aler Mur
Aprendizaje Automático para el Análisis de Datos GRADO EN ESTADÍSTICA Y EMPRESA Ricardo Aler Mur Regresión simbólica, búsqueda genética y algoritmos de estimación de distribuciones Regresión lineal Regresión:
Más detallesCapítulo 4: Grafos Clase 4: Árboles
Capítulo 4: Grafos Clase 4: Árboles Matemática Discreta - CC3101 Profesor: Pablo Barceló P. Barceló Matemática Discreta - Cap. 4: Grafos 1 / 12 Árboles Los árboles son una clase particular de grafos que
Más detallesTratamiento probabilístico de la Información. INGENIERÍA DE SISTEMAS Cursada 2016
TEORÍ DE L INFORMCIÓN Tratamiento probabilístico de la Información Compresión de datos INGENIERÍ DE SISTEMS Cursada 06 COMPRESIÓN Y REDUNDNCI Los datos suelen contener información no relevante o redundante
Más detallesDemostrando cotas inferiores: Arboles de decisión
Demostrando cotas inferiores: Arboles de decisión De la misma forma que la técnica basada en la mejor estrategia del adversario, vamos a utilizar los árboles de decisión para establecer una cota inferior
Más detallesParte A. Ing. Roque Castillo Investigación y Salud III
Conceptos de Probabilidad Parte A Ing. Roque Castillo Investigación y Salud III Introducción Definición 3.1 El espacio muestral es el conjunto de todos los resultados posibles. Al referirse a las probabilidades
Más detallesAlgoritmos y Estructuras de Datos III
Árboles Algoritmos y Estructuras de Datos III Árboles Definición: Un árbol es un grafo conexo sin circuitos simples. Árboles Teorema: Dado un grafo G = (V, X ) son equivalentes: 1. G es un árbol. 2. G
Más detallesMatemáticas Discretas Enrique Muñoz de Cote INAOE. Permutaciones y Combinaciones
Matemáticas Discretas Enrique Muñoz de Cote INAOE Permutaciones y Combinaciones Contenido Introducción Reglas de la suma y el producto Permutaciones Combinaciones Generación de permutaciones Teorema del
Más detallesTEMA 6 Solución a alguno de los ejercicios propuestos en la hoja de problemas
TEMA 6 Solución a alguno de los ejercicios propuestos en la hoja de problemas 9.- b) Planteamiento general del problema. Sea [-A,B] el intervalo de cantidades a representar (con -A la cantidad más pequeña
Más detallesSISTEMAS INTELIGENTES
SISTEMAS INTELIGENTES T9: Árboles de Decisión www.aic.uniovi.es/ssii Sistemas Inteligentes T9: Árboles de decisión Índice Árboles de decisión para clasificación Mecanismo de inducción: divide y vencerás
Más detallesEstructuras de Datos. Montículos. Montículos. Montículos. Tema 3. Montículos. Definiciones básicas: Definiciones básicas:
Estructuras de Datos Tema. 1. Definiciones básicas 2. Implementación. Operaciones con montículos 4. Definiciones básicas: En un árbol binario completo todos los niveles del árbol (excepto tal vez el último)
Más detallesDefiniciones: conjuntos, grafos, y árboles. Agustín J. González ELO 320: Estructura de Datos y Algoritmos. 2002
Definiciones: conjuntos, grafos, y árboles Agustín J. González ELO 320: Estructura de Datos y Algoritmos. 2002 1 Conjuntos (sets) y Grafos (graphs) Un Conjunto es una colección de objetos distintos. No
Más detallesCAPÍTULO 2. ÁRBOLES 2.0. CONCEPTOS GENERALES
CAPÍTULO 2. ÁRBOLES 2.0. CONCEPTOS GENERALES Los árboles (en general) se utilizan para representar fórmulas algebraicas, para organizar objetos en orden de tal forma que las búsquedas sean muy eficientes
Más detallesAtaque de texto claro escogido contra la clave de protocolo del cifrado de Doble Criptograma Simétrico
Ataque de texto claro escogido contra la clave de protocolo del cifrado de Doble Criptograma Simétrico Manuel J. Lucena López 27 de enero de 2013 Resumen Se presenta un ataque de texto claro escogido para
Más detallesIntroducción a los códigos compresores
Introducción a los códigos compresores Parte I de la Lección 2, Compresores sin pérdidas, de CTI Ramiro Moreno Chiral Dpt. Matemàtica (UdL) Febrero de 2010 Ramiro Moreno (Matemàtica, UdL) Introducción
Más detallesImplementación de diccionarios sobre Trie en C++
Implementación de diccionarios sobre Trie en C++ Algoritmos y Estructuras de Datos II 2. do cuatrimestre de 2016 Introducción Vamos a implementar una interfaz de diccionario en C++ La representación interna
Más detallesCurso Básico de Computación
CINVESTAV IPN México City 2010 1 Preliminares 1.1 Cadenas, alfabetos y lenguajes Un símbolo es un ente abstracto que no se puede definir formalmente. Letras o dígitos son ejemplos
Más detallesIntroducción a la Teoría de la Información
Introducción a la Teoría de la Información Conceptos Básicos. Facultad de Ingeniería, UdelaR (Facultad de Ingeniería, UdelaR) Teoría de la Información 1 / 32 Agenda 1 Definiciones y Propiedades Básicas
Más detallesÁrboles de Decisión Árboles de Sintaxis
Árboles de Decisión Árboles de Sintaxis Estructuras de Datos Andrea Rueda Pontificia Universidad Javeriana Departamento de Ingeniería de Sistemas Árboles de Decisión Árbol de Decisión Forma gráfica de
Más detallesCapítulo 2: Código detector de errores. Materia: Teoría de la información y métodos de codificación.
Capítulo 2: Código detector de errores. Materia: Teoría de la información y métodos de codificación. Introducción Cuando un mensaje es transmitido es inevitable el ruido que degrada la calidad de la comunicación.
Más detallesTeoría de la Información y Codificación
SEGUNDA EDICIÓN Construcción de sistemas y servicios VoIP Yolanda Blanco Fernández Martín López Nores Dispositivos y circuitos eléctricos analógicos Alfonso Lago Ferreiro Andrés A. Nogueiras Meléndez Problemas
Más detallesAprendizaje Automático
Aprendizaje Automático cbea LSI - FIB IA - Curso 2014/2015 cbea (LSI - FIB) Aprendizaje Automático IA - Curso 2014/2015 1 / 46 Índice 1 Introducción 2 Aprendizaje inductivo 3 Árboles de decisión 4 Aprendizaje
Más detallesMáquinas de estado finito y expresiones regulares
Capítulo 3 Máquinas de estado finito y expresiones regulares En este tema definiremos y estudiaremos máquinas de estado finito, llamadas también máquinas de estado finito secuenciales o autómatas finitos.
Más detallesOCW-V.Muto El método de la Secante Cap. VIII CAPITULO VIII. EL METODO DE LA SECANTE 1. INTRODUCCION Y METODO
CAPITULO VIII. EL METODO DE LA SECANTE 1. INTRODUCCION Y METODO Utilizando los supuestos de los capítulos anteriores, daremos en este capítulo un procedimiento más rápido para hallar una raíz p de la ecuación
Más detallesMétodo simplex para redes (representaciones gráficas) Cálculo del flujo de un árbol de expansión
. 7 Árbol con ofertas y demandas. (Suponemos que el flujo de los demás arcos es igual a ) Método simplex para redes (representaciones gráficas) 6 - flujo en el arco (,)? Método simplex para redes (representaciones
Más detallesTema 8: ALMACENAMIENTO
Tema 8: ALMACENAMIENTO 1 I N G E N I E R Í A I N F O R M Á T I C A C U R S O 2 0 1 5-2 0 1 6 2 Como ya hemos estudiado, representar una imagen de n x n píxeles mediante una representación matricial requiere:
Más detalles1. Experimentos aleatorios
1. Eperimentos aleatorios La eperimentación es útil porque si se supone que llevamos a cabo ciertos eperimentos bajo condiciones esencialmente idénticas se llegará a los mismos resultados. En estas circunstancias,
Más detallesCOMUNICACIÓN DE DATOS
DEPARTAMENTO DE CIENCIA Y TECNOLOGÍA UNIVERSIDAD NACIONAL DE QUILMES Roque Sáenz Peña 352 (B1876BXD) Bernal Buenos Aires Argentina COMUNICACIÓN DE DATOS CODIFICACIÓN DE FUENTE Un problema de interés dentro
Más detallesInteligencia Artificial
Mayo 21 de 2008 El estudiante de la Pontificia Universidad Javeriana, como agente de su propia formación, es corresponsable de la Identidad Institucional, uno de cuyos cimientos es tener como hábito un
Más detallesEstructura de datos y de la información Boletín de problemas - Tema 10
Estructura de datos y de la información Boletín de problemas - Tema 10 1. En el caso de que sea posible, dar un ejemplo de los siguientes puntos. Si no, explicar por qué no lo es. Considerar un valor genérico
Más detallesFísica Estadística. A entregar: Viernes 25 de febrero de 2011.
Física Estadística A entregar: Viernes 25 de febrero de 2011. Prob. 4. El caminante al azar... o borracho Suponga un borracho que acaba de salir de una cantina y que sólo puede caminar hacia su derecha
Más detalles