Calculadora de Ganho de Informação

O Que é o Ganho de Informação?

O Ganho de Informação (Information Gain) é uma métrica fundamental na teoria da informação e no aprendizado de máquina, especialmente para algoritmos de árvores de decisão como ID3 e C4.5.

Ele mede a redução da incerteza ou entropia em um conjunto de dados após a divisão do conjunto por um determinado atributo. Em outras palavras, ele quantifica o quanto um atributo específico ajuda a "limpar" os dados, tornando as classes mais puras em seus subconjuntos.

Como é Calculado?

O Ganho de Informação é derivado da diferença entre a entropia inicial (do conjunto de dados antes da divisão) e a entropia condicional (a entropia média dos subconjuntos após a divisão pelo atributo).

• 1. Entropia (H(S)): Representa o nível de "mistura" ou incerteza no conjunto de dados original (S). Quanto mais misturadas as classes (ex: 50% positivo, 50% negativo), maior a entropia. Um conjunto puro (100% positivo ou 100% negativo) tem entropia zero. A fórmula é:
  H(S) = -p_pos * log2(p_pos) - p_neg * log2(p_neg)
  Onde p_pos e p_neg são as proporções de exemplos positivos e negativos em S, respectivamente.
• 2. Entropia Condicional (H(S|A)): É a entropia média dos subconjuntos resultantes após a divisão pelo atributo A. Cada subconjunto é ponderado pelo seu tamanho em relação ao conjunto total.
  H(S|A) = Σ (|S_v| / |S|) * H(S_v)
  Onde S_v é o subconjunto de S para o qual o atributo A tem valor v, e |S_v| / |S| é o peso desse subconjunto.
• 3. Ganho de Informação (IG(S, A)): A diferença entre a entropia inicial e a entropia condicional.
  IG(S, A) = H(S) - H(S|A)
  Um valor mais alto de Ganho de Informação indica que o atributo é mais eficaz na separação das classes e, portanto, é um bom candidato para ser um nó de decisão na árvore.

Importância em Aprendizado de Máquina

Em algoritmos de árvores de decisão, o Ganho de Informação é usado para selecionar o melhor atributo para dividir um nó. O algoritmo escolhe o atributo que oferece o maior Ganho de Informação, pois esse atributo é o que mais reduz a incerteza e cria subconjuntos mais puros, levando a uma árvore de decisão mais eficiente e precisa.

É uma medida crucial para determinar a relevância dos atributos em conjuntos de dados e é um dos pilares para a construção de modelos preditivos robustos.