Advanced blind decomposition methods for end-members and abundance estimation in medical imaging

Abstract

Hyperspectral imaging (HSI) capture a wide range of spectral bands across the electromagnetic spectrum, including both the visible range and beyond human perception. These images contain valuable information about the scenes captured by the optical sensors. By using this information in conjunction with classification algorithms, it is possible to determine the material or substance present in each pixel of the image. One of the main benefits of this technology lies in its versatility, as it can be used as a visual assistance tool in various areas, from industrial applications to the medical field. It is precisely in this medical domain where HSI has been applied for the classification and identification of biological tissues affected by certain pathologies, showing promising results in characterizing their spatial-spectral properties.

Despite the numerous advantages offered by HSI technology, the task of identifying pathologies through spatial-spectral information is not straightforward. This is due to the variability among the samples and the lack of distinctive spectral separability between healthy and diseased tissues. Moreover, the large volume of spectral information can lead to redundancies, as increasing the number of spectral bands does not always result in improved accuracy. Furthermore, the design, evaluation, and optimization of classification methods by HSI present a computational challenge, particularly due to the high dimensionality of the data. Furthermore, there is limited availability of HSI databases in the medical field and an even more restrictive scarcity of labeled databases in this area.

This dissertation work aims to exploit the characteristics of hyperspectral images to develop unmixing and classification algorithms, in order to provide precise localization of different components present in hyperspectral images. To achieve this goal, spectral unmixing methodologies were developed, considering spatial coherence and nonlinear interactions (multi-linear mixing model) among the components in the scene of interest. Additionally, hybrid classification methods were generated, combining unmixing algorithms with machine learning for hyperspectral image evaluation, to reduce computational costs and avoid overfitting. A new data calibration method was also proposed to reduce the variability in the information. In addition, state-of-the-art image processing methods were explored and adapted for hyperspectral applications.

The results of this work showed that the proposed methods allow an accurate classification of different classes of interest, outperforming state-of-the-art methods in most of the evaluated metrics. Additionally, classification maps can be generated with a higher level of agreement with the initial segmentations produced by clinical experts. Furthermore, the proposed methods reduce training and inference times, opening up the feasibility of implementing these in real-time applications.

Las imágenes hiperespectrales (HSI) capturan una amplia gama de bandas espectrales a lo largo del espectro electromagnético, incluyendo tanto el rango visible como más allá de la percepción humana. Estas imágenes contienen información valiosa sobre las escenas capturadas por los sensores ópticos. Mediante el uso de esta información en conjunto con algoritmos de clasificación, es posible determinar el material o sustancia presente en cada píxel de la imagen. Uno de los principales beneficios de esta tecnología radica en su versatilidad, ya que puede utilizarse como herramienta de asistencia visual en diversas áreas, desde aplicaciones industriales hasta el campo médico. Precisamente en este ámbito médico es donde se ha aplicado la HSI para la clasificación e identificación de tejidos biológicos afectados por ciertas patologías, mostrando resultados prometedores en la caracterización de sus propiedades espaciales y espectrales.

A pesar de las numerosas ventajas que ofrece la tecnología HSI, la tarea de identificar patologías a través de información espacio-espectral no es sencilla. Esto se debe a la variabilidad entre las muestras y a la falta de separabilidad espectral distintiva entre tejidos sanos y enfermos. Además, el gran volumen de información espectral puede llevar a redundancias, ya que aumentar el número de bandas espectrales no siempre resulta en una mayor precisión. Aunado a esto, el diseño, la evaluación y la optimización de los métodos de clasificación mediante HSI presentan un desafío computacional, particularmente debido a la alta dimensionalidad de los datos. Asimismo, existe una disponibilidad limitada de bases de datos HSI en el campo médico y una escasez aún más restrictiva de bases de datos etiquetadas en esta área.

El objetivo de este trabajo de tesis es aprovechar las características de las HSI para desarrollar algoritmos de desmezcla y clasificación, con el fin de proporcionar una localización precisa de los diferentes componentes presentes en las mismas. Para lograr este objetivo, se desarrollaron metodologías de desmezcla espectral, considerando coherencia espacial e interacciones no lineales (modelo de mezcla multilínea) entre los componentes en la escena de interés. Además, se generaron métodos de clasificación híbridos, combinando algoritmos de desmezcla con aprendizaje automático para la evaluación de HSI, con el fin de reducir los costos computacionales y evitar el sobreajuste. Asimismo, se propuso un nuevo método de calibración de datos para reducir la variabilidad en la información. Además, se exploraron y adaptaron métodos de procesamiento de imágenes de vanguardia para aplicaciones hiperespectrales.

Los resultados de este trabajo mostraron que los métodos propuestos permiten una clasificación precisa de diferentes clases de interés, superando a los métodos de vanguardia en la mayoría de las métricas evaluadas. Además, se pueden generar mapas de clasificación con un mayor nivel de coincidencia con segmentaciones iniciales producidas por expertos clínicos. De igual forma, los métodos propuestos reducen los tiempos de entrenamiento e inferencia, abriendo la posibilidad de implementarlos en aplicaciones en tiempo real.