Acompanha Pós: IE660 - Teoria da Informação

Ementa: Introdução: informação e comunicação; entropia, entropia relativa e informação mútua; a propriedade da equipartição assintótica; compressão de dados; informação e teoria de jogos; capacidade de canal; entropia diferencial; o canal gaussiano; máxima entropia e análise espectral; teoria de taxa versus distorção; teoria de informação em redes de comunicação; teoria de informação e o mercado de capitais.

Conteúdo Programático: Introdução à Teoria da Informação Histórico e motivação da teoria da informação. Relação entre informação e comunicação. Conceito de incerteza e previsibilidade. · Entropia, Entropia Relativa e Informação Mútua Definições de entropia de Shannon, entropia condicional e entropia conjunta. Entropia relativa (divergência de Kullback-Leibler). Informação mútua e sua interpretação como redução de incerteza. Propriedades fundamentais das medidas de informação. · Equipartição Assintótica (AEP) Teorema da Equipartição Assintótica. Aplicações da AEP na compressão de fontes. Justificativa estatística para técnicas de codificação. · Compressão de Dados (Fonte Discreta) Taxa de compressão ideal. Teorema de codificação de Shannon para fontes sem memória. Codificação de Huffman e codificação aritmética. Limites da compressão com e sem perda. · Teoria da Informação e Teoria dos Jogos Informação como recurso estratégico. Aplicações de entropia e informação mútua em jogos de informação incompleta. Análise de payoff em jogos estocásticos com comunicação. · Capacidade de Canal Modelagem de canais com ruído. Capacidade de canal discreto com memória e sem memória. Teorema de codificação de canal de Shannon. Códigos com detecção e correção de erros. · Entropia Diferencial Generalização da entropia para variáveis contínuas. Relação com entropia discreta. Interpretação e propriedades. · O Canal Gaussiano Capacidade de canal AWGN (ruído branco gaussiano aditivo). Otimização da distribuição de entrada. Canais com restrição de potência. · Máxima Entropia e Análise Espectral Princípio da entropia máxima. Aplicações em estimação espectral e modelagem de processos estocásticos. Modelos ARMA e o espectro de potência. · Teoria de Taxa vs. Distorção Codificação de fontes com perda. Função taxa-distorção e limites teóricos. Aplicações em compressão de áudio, imagem e vídeo. · Teoria da Informação em Redes de Comunicação Múltiplos usuários: canais MAC, broadcast e interferência. Limites fundamentais para redes de comunicação. Codificação de rede e fluxos de informação. · Teoria da Informação e Mercado de Capitais Informação em mercados financeiros: entropia como medida de incerteza. Correlação, causalidade e mutual information em séries temporais financeiras. Estratégias de investimento baseadas em medidas informacionais.

Plano de Desenvolvimento: n/a

---

Conforme IN CCG nº 02/2025 - Cláusula de Honestidade e Lisura Acadêmica

Todas as atividades relacionadas às disciplinas devem ser realizadas em conformidade com as orientações fornecidas pelos docentes e com o devido rigor ético.

Caso o(a) docente responsável, no exercício de sua liberdade de cátedra, forme convicção acerca da ausência de lisura ou de condições adequadas para a realização da atividade avaliativa, poderá atribuir nota zero, seja para a atividade única ou, conforme o caso, para o conjunto de atividades do semestre. A ocorrência deverá ser fundamentada e comunicada à Coordenação de Curso de Graduação, podendo o(a) estudante estar sujeito a processo administrativo.

Bibliografia: Cover, T. M., & Thomas, J. A. Elements of Information Theory. 2ª ed., Wiley-Interscience, 2006. MacKay, D. J. C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003. Yeung, R. W. A First Course in Information Theory. Springer, 2002. Gray, R. M. Entropy and Information Theory. Springer, 2011 (2ª ed. online gratuita). El Gamal, A., & Kim, Y.-H. Network Information Theory. Cambridge University Press, 2011.

Critério de Avaliação: Listas de exercícios, testes em sala de aula e projetos, em proporções combinadas com os alunos.

Bibliografia complementar: n/a