水下彩色成像会导致浮游动物因趋光性大量聚集在成像仪器前，使观测结果产生偏差。IsPlanktonCLR算法采用了一种具有自指导功能的双通路网络结构，配合定制化的调色板和逐步聚焦的损失函数，实现了对浮游生物灰度图像的自动化着色。
海洋浮游生物作为一类悬浮在水层常随水流移动的海洋生物，是海洋生态系统的基本组成部分，对浮游生物的观测不仅是海洋生态科学研究的基础，也是现代海洋生态环境管理不可或缺的手段。
近期，来自中国科学院深圳先进技术研究院集成所光电工程技术中心的李剑平团队设计了一种深度学习图像着色算法，可将水下原位拍摄的海洋浮游生物灰度图像自动着色，着色效果极为接近人眼观察的实际效果。
实现了对浮游生物灰度图像的自动化着色
近年来，随着技术的发展，越来越多的浮游生物成像仪实现了彩色成像，也有许多实验证明彩色图像能够比灰度图像提供更为丰富的信息，对浮游生物观测起到重要作用。
然而，水下彩色成像需要使用白光照明，会导致浮游动物因趋光性大量聚集在水下成像仪器前，改变它们在水下的原有空间分布。这种非自然的改变，会导致对浮游生物的观测结果产生严重偏差，观测定量不够准确。
“由于绝大多数浮游生物对波长较长的红光不敏感，传统的水下成像仪多数使用红光或近红外光照明成像，以避免浮游生物因趋光性聚集。但这样的拍摄条件只能获得浮游生物的灰度图像。如果能够训练人工智能，将红光照明下获取的灰度图像转换为高保真的彩色图像，就可以解决这一难题。”李剑平表示。
针对这一设想，李剑平团队设计并训练了一种基于深度卷积神经网络的浮游生物自动着色算法，并将其命名为IsPlanktonCLR算法。
该算法采用了一种具有自指导功能的双通路网络结构，配合定制化的调色板和逐步聚焦的损失函数，实现了对浮游生物灰度图像的自动化着色，且对稀有物种和普通物种关键部位的色彩还原具有优异的准确性。
构建浮游生物彩色—灰度原位图像对数据集
为实现IsPlanktonCLR算法的训练与开发，李剑平团队通过长期不懈积累，结合自主研发的海洋原位成像仪，构建了一个浮游生物彩色—灰度原位图像对数据集。利用该数据集，团队不仅训练了IsPlanktonCLR算法的着色算法，还将其与CIC、MemoColor、LetColor、InstCol、Chroma等现有最优水平着色算法进行了性能对比。
“我们的实验结果证实，无论是在人眼视觉感受效果上，还是在机器视觉的经典量化指标上，IsPlanktonCLR算法都表现优异。”李剑平说道。
此外，研究团队还注意到现有面向图像复原的着色算法普遍缺乏客观、定量的着色评价指标。对此，团队提出了一个融合了色彩直方图、色彩聚合向量、色彩相关图和色彩梯度等彩色特征的图像色彩相似度评价指标CDSIM，并通过在海洋浮游生物和自然场景图像上分别开展测试，验证了CDSIM在着色算法效果评价中不仅有效，而且更适合在科学成像领域的图像着色评价中应用。
李剑平表示，IsPlanktonCLR算法的发展为海洋成像观测仪器获取准确、真实的观测结果提供了一种新的人工智能解决方案，其效果不仅直接规避了海洋浮游生物原位成像中因生物趋光聚集所致的观测不准确问题，还有可能为其他海洋生物的成像观测困难或损伤带来新的问题解决思路，为人类探索和认识海洋提供新的技术手段。