Applying deep learning to right whale photo identification

Conserv Biol. 2019 Jun;33(3):676-684. doi: 10.1111/cobi.13226. Epub 2018 Nov 28.

Abstract

Photo identification is an important tool for estimating abundance and monitoring population trends over time. However, manually matching photographs to known individuals is time-consuming. Motivated by recent developments in image recognition, we hosted a data science challenge on the crowdsourcing platform Kaggle to automate the identification of endangered North Atlantic right whales (Eubalaena glacialis). The winning solution automatically identified individual whales with 87% accuracy with a series of convolutional neural networks to identify the region of interest on an image, rotate, crop, and create standardized photographs of uniform size and orientation and then identify the correct individual whale from these passport-like photographs. Recent advances in deep learning coupled with this fully automated workflow have yielded impressive results and have the potential to revolutionize traditional methods for the collection of data on the abundance and distribution of wild populations. Presenting these results to a broad audience should further bridge the gap between the data science and conservation science communities.

Aplicación del Aprendizaje Profundo a la Identificación Fotográfica de la Ballena Franca Resumen La identificación fotográfica es una herramienta importante para la estimación de la abundancia y el monitoreo de las tendencias poblacionales en el tiempo. Sin embargo, corresponder las fotografías con los individuos conocidos requiere de mucho tiempo. Motivados por los avances recientes en el reconocimiento de imágenes, decidimos acoger un reto de datos científicos en la plataforma de colaboración masiva Kaggle para automatizar la identificación de ballenas francas del Atlántico norte (Eubalaena glacialis), especie que se encuentra en peligro de extinción. La solución ganadora identificó automáticamente a las ballenas individuales con una certeza del 87% y con una serie de redes neurales convolucionales para identificar la región de interés en una imagen, rotar, recortar, y crear fotografías estandarizadas de tamaño y orientación uniforme y después identificar al individuo correcto a partir de estas fotografías tamaño pasaporte. Los avances recientes en el aprendizaje profundo acoplados a este flujo de trabajo completamente automatizado han producido resultados impresionantes y tienen el potencial para revolucionar los métodos tradicionales de recolección de datos de abundancia y distribución de las poblaciones silvestres. La presentación de estos resultados ante un público amplio debería reducir aún más el vacío que existe entre los datos científicos y las comunidades científicas para la conservación.

照片识别是评估种群丰度和监测种群动态的重要工具。然而, 人工地将照片与已知个体进行比对需耗费大量时间。受到最近图像识别领域发展的启发, 我们在众包平台 Kaggle 网站举办了一项数据科学挑战, 来自动识别濒危的北太平洋露脊鲸 (Eubalaena glacialis) 。获胜的方案能以87%的准确率自动识别鲸鱼个体, 它利用一系列卷积神经网络来找到图像上关注的区域, 加以旋转、裁剪, 并创建统一尺寸和方向的标准化照片, 然后从这些类似护照的照片中正确识别出鲸鱼个体。目前深度学习领域的进展加上这种完全自动化的工作流程, 已取得了显著成果, 并有可能给野生动物种群丰度和分布的传统数据收集方法带来变革。我们将这些结果呈现给广大受众, 以期进一步缩小数据科学和保护科学群体之间的距离。【翻译: 胡怡思; 审校: 聂永刚】.

Keywords: Kaggle competition; Kaggle 网站竞赛; algorithm; algoritmo; aprendizaje automático; automated image recognition; competencia Kaggle; computer vision; convolutional neural networks; identificación fotográfica; machine learning; photo identification; reconocimiento automatizado de imágenes; redes neurales convolucionales; visión computarizada; 卷积神经网络; 机器学习; 照片识别; 算法; 自动图像识别; 计算机视觉.

MeSH terms

  • Animals
  • Conservation of Natural Resources
  • Deep Learning*
  • Whales*