社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

广州大学刘文斌Small Methods:一种基于深度学习特征表示的高效鲁棒图像DNA存储架构

MaterialsViews • 1 周前 • 16 次点击  

传统硅介质已难以容纳指数增长的全球数据,脱氧核糖核苷酸(Deoxyribonucleic Acid, DNA)分子具有高密度、长寿命和低能耗优势,从而成为下一代数据存储介质的理想选择。目前DNA存储面临合成测序成本高、速度慢和高错误率等挑战。数字图像在全球数据中占有重要地位,传统DNA图像存储方法先使用JPEG等算法压缩编码为比特流,添加纠错码后编码为DNA序列合成并存储。这种技术路线的主要缺点是加入纠错码降低了存储密度,同时也必须依靠复杂的纠错算法。

近年来,深度学习架构强大的特征表征提取能力也成功应用于图像DNA存储与处理。广州大学刘文斌课题组近日介绍了一种基于深度学习特征表示的高效鲁棒图像DNA存储架构。通过编码存储图像深度学习特征表示而非图像本身实现有损压缩,利用深度学习架构和特征的鲁棒性处理DNA存储信道中的错误。干湿实验验证了该方法能容忍6%随机分布的插入、删除和替换错误;并且在压缩能力和纠错能力上取得了较好的平衡,为海量图像存储提供了新思路。图1给出了主要的编解码架构,压缩特征的量化及编码和解码过程。

1编解码架构

在仿真实验中,对图像特征编码得到的DNA序列随机添加0%, 2%, 6%10%的插入、删除和替换错误,解码DNA序列得含噪声的深度学习图像表征,交由解码器后使用提升网络R得到优化后的图片。图2, a说明所提方法可在单序列情形下处理~6% IDS错误。图2, b展示了络在不同的错误率下R对图像质量的平均提升性能,说明R在提升图像质量方面至关重要。图2, c给出了不同错误率下的图像样例。

2模拟DNA存储信道上的性能

在湿式实验中,将一张尺寸为16×16×16的深度学习图像表征,合成后引入14pUC57质粒中,使用Sanger法测序质检后二代(illumina,深度为150)测序读出,拼装节段并解码重建(如图3, a)。总体而言,合成错误为偶发插入和替换错误,错误率<<0.01%;二代测序综合错误率<<0.01%MSA后错误率为0%14节段共测得2081reads,其中完全正确者~77%22%有错reads均为偶发IDS错误,与参考序列长度接近(变化量<5-nt,图3, d~g);1%严重错误者reads存在连续删除(序列降解),长度远短于参考序列(图3, h~i)。由于一张图像特征的编码DNA被切分为14个节段分别存储,故组装时可挑选不同质量的14reads构成不同错误率序列,检验所提方法性能。结果表明,所提方法可基于二代测序得到的绝大多数reads重建,与DNA存储信道适配性良好,达到预期效果。

3真实DNA存储信道中的性能

5, a展示了平均图像重建质量PSNR(深蓝色线)与压缩率(浅蓝色线)在不同特征尺寸下的变化趋势。随着图像特征尺寸变大(通道数c变大),压缩率骤然减小,抗噪能力缓慢上升。一种较好的平衡应是给定信道错误率后,平均PSNR与压缩率之和较大者。与基于JPEG的图像DNA存储系统相比,所提方法更好地平衡了压缩能力与抗噪能力。图5, b展示了所提方法与JPEG6%错误率信道中平均PSNR与压缩率曲线。示例图片中,第34张均出现了明显的伪影和模糊,而所提方法在相仿压缩率下图像质量下降轻微。由于JPEG无抗噪容错能力,本方法可以容忍6% IDS错误,在压缩能力与抗噪能力取得了很好的平衡,更适用于低成本大规模图像DNA存储。

4压缩能力与抗噪能力的平衡

总之,基于语义特征和深度学习的强大重构能力,本方法在压缩能力和图像质量方面于传统方法相比具有很大优势,为未来图像的DNA存储提高了新的解决思路,可以应用于城市道路等大规模中等图像质量应用场景。

论文信息:

A robust and efficient representation-based DNA storage architecture by deep learning

Yanqing Su, Ling Chu, Wanmin Lin, Xiangyu Yao, Peng Xu*, Wenbin Liu*

Small Methods

DOI: 10.1002/smtd.202400959

点击左下角阅读原文,查看该论文原文。

Small

Methods

期刊简介



Wiley旗下Small Methods期刊是创刊于2017年的高水平综合期刊。期刊集中收录有关纳微米尺度材料的实验技术进展,涉及领域包括材料学、生物医药、化学、物理学等合成、表征、应用技术。

   

WILEY


MaterialsViews

Wiley旗下材料科学类期刊官方微信平台

关注公众号和视频号

推送材料科研资讯|访谈材料大咖新秀

分享撰稿投稿经验|关注最新招聘信息

点击“分享”,给我们一点鼓励吧~

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/177861
 
16 次点击