Distância de Gower

A distância de Gower é um coeficiente de similaridade baseado em diferentes tipos de informações das \(n\) variáveis e que mede as similaridades entre dois indivíduos. Como similaridade não é algo que pode ser medido diretamente, é necessário transformá-la em distâncias para construir uma matriz de similaridade. O índice de Gower é um coeficiente que combina diferentes tipos de descritores e os processa de acordo com seu próprio tipo matemático. Geralmente, para calcular essa distância, índices binários são usados da seguinte forma: dois indivíduos são comparados em uma das variáveis e a pontuação 0 é atribuída quando eles são considerados diferentes e 1 quando eles têm algum grau de similaridade. Para mais detalhes, consulte[1].

Algoritmo PAM

Partitioning Around Medoids (PAM) foi proposto por \([2]\) como um método de agrupamento que associa qualquer medida de distância a um pré-determinado número de grupos. O algoritmo se baseia na busca de \(k\) objetos representativos, dentre os objetos do conjunto de dados, e em vez de usar um centróide convencional para representar os grupos, o PAM usa medoides. Depois de encontrar um conjunto dos \(k\) objetos representativos, os \(k\) clusters são construídos atribuindo cada objeto do conjunto de dados ao objeto representativo mais próximo. A partir daí, é determinado um novo medóide que pode representar melhor o grupo. Todos os elementos do conjunto de dados restantes são atribuídos mais uma vez aos grupos que possuem o medóide mais próximo. A cada iteração, os medoides alteram sua localização. O método minimiza a soma das diferenças entre cada elemento do conjunto de dados e seu medóide correspondente. Este ciclo é repetido até que nenhum medóide mude mais sua localização \([2][3][4]\). Para ilustrar essa metodologia, vamos usar um conjunto de dados publicado no repositório [UCI Machine Learning] (https://archive.ics.uci.edu/ml/machine-learning-databases/00544/). Este é um conjunto de dados sobre os níveis de obesidade em indivíduos do México, Peru e Colômbia, com base em seus hábitos alimentares e condição física. Na tabela a seguir mostramos sua estrutura:

A pergunta que inicialmente fazemos é quantos clusters devemos construir? Bem, atualmente existem diferentes métodos para avaliar os resultados em uma análise de cluster, como por exemplo densidade, coesão, separação e raio dos clusters formados. Neste post vamos usar o coeficiente de silhueta para avaliar a qualidade do agrupamento obtido e decidir quantos agrupamentos realizar.

O gráfico do coeficiente de silhueta sugere que devemos decidir entre 2 e 8 clusters, porém, para fins ilustrativos, vamos construir 4 clusters. No gráfico abaixo podemos ver uma representação deles.

Finalmente podemos fazer um resumo de cada cluster

Referências

[1] Gower J, 1971, A General Coefficient of Similarity and Some of Its Properties, Biometrics, Vol. 27, No. 4, pp. 857-871.

[2] Kaufman L, Rousseeuw P, 1990, Finding groups in data: an introduction to cluster analysis. John Wiley & Sons.

[3] Aruna B, 2014, K-medoids clustering using partitioning around medoids for performing face recognition, International Journal of Soft Computing, Mathematics and Control, Vol. 3, No. 3.

[4] Van der Laan M, Pollard K and Bryan J, 2003, A new partitioning around medoids algorithm, Journal of Statistical Computation and Simulation, Vol. 73, No. 8.