国外做二手工业设备的网站,网站成品超市,做网站不推广有效果吗,山东又一地检测阳性欢迎关注微信公众号“3D视觉学习笔记”#xff0c;分享博士期间3D视觉学习收获MVSNet:香港科技大学的权龙教授团队的MVSNet#xff08;2018年ECCV#xff09;开启了用深度做多视图三维重建的先河。2019年#xff0c;2020年又有多篇改进#xff1a;RMVSNet(CVPR2019),Point…欢迎关注微信公众号“3D视觉学习笔记”分享博士期间3D视觉学习收获MVSNet:香港科技大学的权龙教授团队的MVSNet2018年ECCV开启了用深度做多视图三维重建的先河。2019年2020年又有多篇改进RMVSNet(CVPR2019),PointMVSNet(ICCV2019),P-MVSNet(ICCV2019),MVSCRF(ICCV2019),Cascade(CVPR2020),CVP-MVSNet(CVPR2020),Fast-MVSNet(CVPR2020),UCSNet(CVPR2020),CIDER(AAAI2020),PVAMVSNet(ECCV2020),D2HC-RMVSNet(ECCV2020)Vis-MVSNetBMVC2020)。一 MVSNet目标是预测图片上每个像素的深度信息MVSNet: Depth Inference for Unstructured Multi-view StereoMVSNet本质是借鉴基于两张图片cost volume的双目立体匹配的深度估计方法扩展到多张图片的深度估计而基于cost volume的双目立体匹配已经较为成熟所以MVSNet本质上也是借鉴一个较为成熟的领域然后提出基于可微分的单应性变换的cost volume用于多视图深度估计。论文实现了权龙教授多年的深度三维重建想法。过程1输入一张reference image为主 和几张source images辅助2分别用网络提取出下采样四分之一的32通道的特征图3采用立体匹配即双目深度估计里提出的cost volume的概念将几张source images的特征利用单应性变换( homography warping)转换到reference image在转换的过程中类似极线搜索引入了深度信息。构建cost volume可以说是MVSNet的关键。具体costvolume上一个点是所有图片在这个点和深度值上特征的方差方差越小说明在该深度上置信度越高。4利用3D卷积操作cost volume先输出每个深度的概率然后求深度的加权平均得到预测的深度信息用L1或smoothL1回归深度信息是一个回归模型。5利用多张图片之间的重建约束photometric and geometric consistencies来选择预测正确的深度信息重建成三维点云。该论文最重要的单应性变换( homography warping)的公式写错了误导了好几篇后续改进的顶会论文不过神奇地是提供的代码没有错该公式错了MVSNet框图二 MVSNet的后续改进论文MVSNet开启了深度学习做三维重建的先河2019/2020又出现了多篇对其的改进改进思路主要是把回归网络改成cascade即改成层级的先预测下采样四分之一的再利用得到的结果预测二分之一最后输出原图片大小的深度信息或减小深度范围或减小cost volume的范围。深度MVS系列论文目前dtu数据集上精度已经很高了再提高也比较难另外由于dtu数据集的ground truth本身就是不完整的所以和这个ground truth比的话也有问题结果高并不表明效果好。还有就是tanks榜单也有问题评价系统存在问题导致需要一些技巧才能提高排名需要平衡点云的完整度和正确性即recall和precision不能太稀疏但是太稠密了错的又会多。https://www.tanksandtemples.org/leaderboard/www.tanksandtemples.orgMVSNet后续改进论文介绍1.RMVSNet(CVPR2019)Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference权龙教授团队Yao Yao对自己的MVSNet的后续改进主要是将3D 卷积换成了一个GRU时序网络来降低显存消耗。代码是用tensorflow写的和MVSNet代码合到一起了github链接https://github.com/YoYo000/MVSNetgithub.com2. MVSNetpytorch版本这里需要特别强调一下提出双目立体匹配GwcNet的Guo Xiaoyang 同学把原来MVSNet的tensorflow代码改成了pytorch框架这为几乎后续所有改进MVSNet的论文提供了极大的帮助后续的论文几乎都是在Xiaoyang Guo同学的MVSNet_pytorch上改的。而且Guo Xiaoyang同学的MVSNet_pytorch已经比原来的MVSNet的效果好了不少而后续的改进都是对比MVSNet论文里的结果所以真正的提升其实并不大后续改进应该对比Guo Xiaoyang同学的MVSNet_pytorch。MVSNet论文里的结果和Guo Xiaoyang同学的MVSNet_pytorch在DTU数据集上的对比结果可以看出Guo Xiaoyang已经提升了不少MVSNet的效果。Guo Xiaoyang同学的MVSNet_pytorch 链接https://github.com/xy-guo/MVSNet_pytorchgithub.com3 PointMVSNet(ICCV2019)Point-Based Multi-View Stereo Network 清华大学改的MVSNet_pytorch的代码PointMVSNet github链接https://github.com/callmeray/PointMVSNet4 P-MVSNet(ICCV2019)P-MVSNet: Learning Patch-wise Matching Confifidence Aggregation for Multi-View Stereo 华中科技大学P-MVSNet对MVSNet的改进主要在于采用传统三维重建算法中Patch-wise。还没有找到其代码。5 MVSCRF(ICCV2019)MVSCRF: Learning Multi-view Stereo with Conditional Random Fields 改进点接入了一个CRF模块清华大学。没有找到其代码。6 cascade MVSNetCVPR2020)Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching阿里GitHub链接https://github.com/alibaba/cascade-stereo改的MVSNet_pytorch的代码主要是把MVSNet的模型改成了层级的先预测下采样四分之一的深度然后用来缩小下采样二分之一的深度再用其缩小原始图片大小的深度这样层级的方式可以采用大的深度间隔和少的深度区间从而可以一次训练更多数据。另外由于双目立体匹配和MVSNet的MVS都是用了cost volume双目立体匹配是用两张图片估计’深度‘MVS的MVSNet是用三张及以上图片预测深度所以其实模型差不多都是相同的cascade MVSNet也把改进思想用到了双目立体匹配上一篇论文做了两份工作。7 CVP-MVSNetCVPR2020)Cost Volume Pyramid Based Depth Inference for Multi-View Stereo澳大利亚国立和英伟达github链接https://github.com/JiayuYANG/CVP-MVSNet也是改的MVSNet_pytorch的代码和上一个cascade MVSNet比较类似也是先预测出深度信息然后用来缩小更大的图片的深度CVP-MVSNet相比cascade MVSNet也缩小了cost volume的范围。8 Fast-MVSNetCVPR2020)Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation and Gauss-Newton Refifinement上海科技大学也是改的MVSNet_pytorch的代码github链接https://github.com/svip-lab/FastMVSNetFast-MVSNet采用稀疏的cost volume以及Gauss-Newton layer目的是提高MVSNet的速度。9 CIDERAAAI 2020)Learning Inverse Depth Regression for Multi-View Stereo with Correlation Cost Volume , 华科的GitHub链接https://github.com/GhiXu/CIDERCIDER主要采用采用group的方式提出了一个小的cost volume10 UCSNetCVPR2020)Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awarenessgithub链接https://github.com/touristCheng/UCSNetgithub.comUCSNet和cascade/CVPMVSnet差不过只是depth interval可以自动调整最大层度的进行网络层级通过下采样四分之一的深度结果来缩小cost volume和深度的范围从而让模型尽可能小。11 PVA-MVSNetECCV2020)Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation北大GitHub链接https://github.com/yhw-yhw/PVAMVSNet主要采用attention机制来自适应学习一些权重比如不同view的权重。12 D2HC-RMVSNet(ECCV2020 Spotlight)Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking github链接(还未提供yhw-yhw/D2HC-RMVSNetgithub.com还没细看大概和RMVSNet差不多只不过换成用LSTM来处理cost volume同时提出一种Dynamic Consistency Checking来后融合。可能因为在Tanks榜单上排名较高目前滑落到第二论文提交时第一所以拿了ECCV2020的Spotlight。13 Visibility-aware Multi-view Stereo Network(BMVC2020 oral)github:https://github.com/jzhangbs/Vis-MVSNet香港科技大学的权龙教授团队的最新的一篇论文发表在BMVC2020上主要是考虑了别的基于深度学习的论文都没考虑的一个问题多视图构建cost volume的可见性问题。代码融合多阶段和group Cost Volume等技巧。目前在tanks榜单的intermediate上排名第一。总结香港科技大学的权龙教授团队的Yao Yao把双目立体匹配的cost volume引入了基于深度学习的三维重建领域提出了MVSNet并整理了DTU数据集开创了通过深度模型预测深度进行三维重建的一个新领域。后续提出双目立体匹配GwcNet的Guo Xiaoyang同学把原来MVSNet的tensorflow代码改成了pytorch框架极大地增加了代码的可读性方便了后续一系列对MVSNet的改进。也提高了改进的基点。得特别感谢香港科技大学的权龙教授团队和Guo Xiaoyang同学。由于tanks and temples榜单评价的是点云阻碍tanks and temples榜单上排名的可能并不是深度值预测的不好而是其他的问题。三维重建涉及的东西很多。榜单上排名高的模型可能是因为在模型以外的地方做了东西。。欢迎关注微信公众号“3D视觉学习笔记”分享博士期间3D视觉学习收获欢迎关注微信公众号“3D视觉学习笔记”分享博士期间3D视觉学习收获
