im钱包官方下载|cspn

首页
cspn

im钱包官方下载|cspn

作者： im钱包官方下载

2024-03-07 18:00:51

CSPN为何走向没落？ CSPN解散了吗？如未解散 CSPN还有崛起的机会吗？ - 知乎

CSPN为何走向没落？ CSPN解散了吗？如未解散 CSPN还有崛起的机会吗？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册为什么 X 会失败电视体育足球篮球CSPN为何走向没落？ CSPN解散了吗？如未解散 CSPN还有崛起的机会吗？最近看CBA半决赛和中超首轮和同学聊球的时候突然想起来CSPN了曾经CSPN一度向CCTV5发起了冲击可是不知道怎么CSPN就消失了球迷的视野 …显示全部关注者6被浏览8,153关注问题写回答邀请回答好问题添加评论分享1 个回答默认排序六十二楼母猪产后护理关注CSPN这个名字不知道有多少小伙伴还记得，2006年3月，辽宁、江苏、山东、湖北、新疆等地的体育频道与北京一家广告影视传媒公司联合组建了中国电视体育联播平台，简称CSPN，内蒙古、江西也随后加入。以 "中央厨房"的理念，采用制播分离的方式，在中国的传媒界引起不小的轰动，也成为球迷除央视之外，看球的第一选择。当时，央视依靠政策、资源优势，一家独大，而北上广三地的体育频道各自为战，其他地区的电视体育频道只能在夹缝中生存。"合纵连横"抱团取暖，成为联播平台成功实施的主要原因。联合引近联合制作联合播出，集中各台优秀人才，各司其职，辽宁台山东台负责宣传片的创意与写作，湖北台负责与包装公司对接，而江苏台、新疆台负责后期制作。2007年10月1日，对于CSPN联播平台来说，是一个极其重要的日子，在这一天五家地方电视台联合制作的《体育新闻》节目实现了跨省级同步播出，这也标志着中国电视体育联播平台（CSPN）正式进入了试播阶段。随着前央视主持人黄健翔的加盟，2008年欧洲杯着实让CSPN火了一把，在球迷中一炮而红。中国的球迷也第一次有了央视以外的收视选择权，CSPN 的第一次世界大赛的转播就击败了中央电视台，收视率不断攀升！北京奥运会，CSPN再次出手，在赛事的选择上，避开央视的锋芒，同时制作质量上乘的周边节目，深挖金牌背后的故事，为CSPN成功的开端再添一把火。就在CSPN准备大展拳脚，在后奥运的体育热中分得一杯羹时，CSPN却迅速跌下神坛。央视终于回过味儿来，独家垄断的世界杯、欧洲杯、NBA等世界上最优秀的体育资源版权，英超落入天盛手中，虽然付费收看并未取得成功。CSPN只能依靠德甲、意甲苦苦支撑。进入互联网时代，腾讯、新浪、PPTV、乐视等网站纷纷举着大把钞票入局，尤其是乐视在成立以后斥巨资买下亚足联官方的足球比赛、F1 世界一级方程式赛车锦标赛和英超联赛等世界最一流赛事的版权，同时从央视挖来刘建宏担任乐视体育总监，2016 年更是以 5 年 80 亿这样前所未有的天价买入中超联赛的独家版权震惊中外。与此同时，CSPN内部也出现裂痕，处于领导地位的江苏和辽宁先后由于自身原因退圈， CSPN 在极度成功的开始之后迅速面临困境。就在这生死存亡之际，联播平台找到了新的领头羊——重庆卫视，并花巨资购入NBA、英超、欧冠篮球联赛版权，邀请知名主播苏东加盟。然而一些列大动作，并未收到预期效果，广告收入下降、内部矛盾日益激烈。黄健翔、苏东先后出走。2013年后，再无CSPN的消息，中国体育电视的第一联合制播模式宣告失败。从CSPN的名字，我们就能看出来，它当初的目的或许就是效仿ESPN，充当中国电视体育产业化的急先锋，探索中国地方体育频道发展的新模式，然而，在央视体育频道对行业垄断的大环境下，CSPN的步子还是有点大。发布于 2021-07-14 14:41赞同添加评论分享收藏喜欢收起

CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记-CSDN博客

CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记

最新推荐文章于 2023-02-16 17:11:07 发布

来自星星的菜鸟

最新推荐文章于 2023-02-16 17:11:07 发布

阅读量3.8k

点赞数

分类专栏：

立体匹配

文章标签：

深度学习

视差估计

本文链接：https://blog.csdn.net/weixin_42954710/article/details/103078682

版权

立体匹配

专栏收录该内容

3 篇文章

0 订阅

订阅专栏

一、先阅读总结

源代码：link https://github.com/XinJCheng/CSPN 这篇论文是当前时间段立体匹配KITTI2015数据集榜单第一名，阅读后记录下来方便以后自己查阅。这篇论文是从两个方面做的：depth completion（下图的上面部分） and stereo matching（下图的下面部分）。首先，depth completion（深度完成）是单目复原三维；这篇论文是通过一张RGB图像和一个这张图像的稀疏点云来稠密的复原三维，这是属于单目的，我没怎么认真看，因为我没做这一块。我的工作是立体匹配这一块儿，所以我下面着重讲这一块论文的创新。

二、论文的主要创新点

在这篇论文中，他对于立体匹配的创新点主要是改进了PSMNet的SPP和后面的沙漏三维卷积；其实我发现2019年的论文大多都是在PSMNet网络上的改良；PSMNet网络必须吃透！！！下图为PSMNet网络：论文首先是对上图左下角的SPP金字塔池化改良为卷积空间金字塔融合（CSPF）。对右下角的的沙漏网络改良为3D CSPN。

2.1 CSPN

如上图所示，论文所提出的CSPN的计算方法有点类似卷积计算。在论文中CSPN的公式为：转换核ki, j∈ R[^k×k×c]是来自亲和力网络的输出；通常将内核大小k设置为奇数，以便围绕像素（i; j）的计算上下文是对称的,c是特征通道的数量。

2.2 卷积空间金字塔融合（CSPF）

在这里，我们可以看到，只要适当的内核大小和卷积步幅，SPP的每个分支都可以视为一步CSPN的特例。形式上，给定一个大小为h×w×c的特征图，以及目标集合的特征图为p×q的空间，空间合并将计算每个分割网格内大小为h = p×w = q的平均值。通过将卷积核大小和步幅都设置为h = p×w = q，并且将k（a,b）中的所有值都统一，这等效于一步CSPN（等式（1））。在影响最终性能方面，功能可能会非常不同，如许多注意力模型所示[93]。因此，我们建议针对此SPP模块使用CSPN学习此类合并/转换内核k（a，b）。们从同一特征块输出一个亲和矩阵进行空间池化，基于此我们进行了2D CSPN步骤，从而生成了大小为p×q的所需池化特征图。具体来说，采用目标尺寸为64 x 64、32 x 32、16 x16和8 x 8的特征图（图3（a）），并且所有特征图共享相同的网络输出以计算池内核。在实践中，我们的网络输出一个大小为h×w×1的单通道权重图，对于合并特征的每个目标大小，我们首先将权重图划分为合并区域，然后在每个区域内计算合并/转换内核k（）区域。但是，与其在等式中使用归一化。我们将内核值强制为正，并在所有输出值上对其进行归一化，而不会删除中心像素的内核值，形式为： ki, j（a, b）= |kˆij(a,b)|/∑ab |kij(a,b)|。输出权重图重复c次以匹配CSPN中的特征尺寸。但在最后，论文增加了一个类似注意力机制的模型，也就是在最后不同尺度合并的时候训练其不同尺度的权重，而不是直接concat，网络输出一个大小为h×w×1的单通道权重图。

具体来说，我们将输出的空间金字塔特征连接为大小为l×h×w×c的4D特征量，并学习大小为l×3×3的变换核。在执行3D CSPN的步骤之后，不对图层尺寸进行填充，即使用[0; 1; 1]的填充大小，我们获得大小为h×w×c的融合特征图。在这里，我们还采用与CSPP中相同的内核标准化。在这里，我们使用一个独立的分支来计算空间金字塔每一层的转换内核，并将它们连接到3D CSPN内核。我们将此策略称为卷积特征融合（CFF），以简化描述。如图3（d）所示，我们最终的空间合并策略是CSPP和CFF的组合，我们称之为卷积空间金字塔融合（CSPF）。CSPF在我们的任务中比原始的SPP模块产生了显着的性能提升。另外，论文还尝试采用Atrous SPP（ASPP）[32]代替SPP进行多尺度特征池化，而没有减小特征尺寸。具体来说，ASPP使用膨胀卷积来获取各种上下文中的特征。类似地，通过学习金字塔每一层的空间相关转换内核，可以用膨胀卷积的相同方式执行CSPN。因此，我们也将ASPP扩展到圆弧CSPP（ACSPP），以计算空间金字塔特征。在我们的实验中，我们使用了ASPP [32]中提出的一组扩展速率，包括6 x 6、12 x 12、18 x18和24 x 24，发现ACSPP的性能优于CSPP。

2.3 3DCSPN卷积

文章的另一个创新是：将上图替换掉沙漏网络。

3DCSPN的定义

我们将CSPN扩展到3D以处理通常用于立体匹配估计的3D成本量[26]。我们在图2（c）中说明3DCSPN。类似于式（1）给出3D特征量H∈Rd×m×n×c，其中d为附加特征尺寸，则3D CSPN的形式可写为：

3DCSPN学习立体匹配匹配

此步骤中，我们采用类似于PSMNet [89]的网络架构，如下图所示。左侧图像和右侧图像被馈送到两个权重共享的CNN，产生相应的特征图，通过级联来收集特征的空间池模块来自具有不同大小的子区域的表示。然后，将两个生成的特征图用于形成4D成本量，将其输入3D CNN中以进行视差回归。由于篇幅所限，我们请读者阅读原始文章以获取更多详细信息。在这里，我们进行了两项更改，将CSPF替换为其空间池模块，并在多尺度输出之后附加3DCSPN。在这里，我们使用建议的CSPF和3DCSPN更新空间池化和3D模块。在PSMNet中，从堆叠的沙漏网络的不同阶段输出大小为d / 4×h /4×w /4×1的三个预测的视差量。这里d; h; w是输入图像的最大视差，高度和宽度。在每个阶段的视差量之后，我们附加一个内核大小为k×k×k的3D CSPN，以结合来自相邻像素的上下文，其中从与输出相同的特征块中学习亲和矩阵。然后，应用三线性上采样将视差量上采样到d×h×w×1，以进行视差图回归，从而产生形状为h×w×1的输出。此处，3DCSPN完成了视差空间（ds）上的处理。为了融合来自不同阶段的多个视差图输出，PSMNet手动设置权重以平均输出。在我们的情况下，我们将它们连接为大小为s×h×w×1的4D体积，其中s = 3是视差图的数量。同样，我们可以执行3D CSPN，其内核大小为s×k×k，以连接多阶段预测，这在概念上类似于多尺度特征融合的注意力模型。最后，我们使用大小为[0; 1; 1]的特征填充，以便通过一次迭代将第一维减小为1，并获得形状为h×w×1的单个回归视差图以进行最终深度估计。

最后

我也只看了代码，对于CSPN的细节还是不太懂；看懂了代码再来补充。

优惠劵

来自星星的菜鸟

关注

踩

觉得还不错?

一键收藏

知道了

CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记

一、先阅读总结源代码：linkhttps://github.com/XinJCheng/CSPN这篇论文是当前时间段立体匹配KITTI2015数据集榜单第一名，阅读后记录下来方便以后自己查阅。这篇论文是从两个方面做的：depth completion（下图的上面部分） and stereo matching（下图的下面部分）。首先，depth completion（深度完成）是单目复原三...

复制链接

扫一扫

专栏目录

Difenso for Gmail-crx插件

03-24

使用difenso保护Gmail数据安全

Difenso for GMail专门保护您的正文消息和附件给收件人的安全。

如果您想使用我们的应用程序保护您的电子邮件，则必须在以下门户之一上订阅Difenso for GMail的报价。

https://b2c.difenso.com上的个人。

企业位于https://b2b.difenso.com常规规范：受保护的电子邮件：正文和附件的加密。

您的草稿受到保护。

法国国家信息系统安全局（ANSSI）为所有欧洲国家/地区提供了CSPN认证的加密核心。

为用户设计的解决方案。

方便使用的。

与所有云服务和平台兼容。

无论收件人电子邮件客户端如何，都可以解密。

与所有外围设备兼容。

值得信赖的解决方案。

符合通用数据保护条例（GDPR）的要求

支持语言:English (United States)

级联层叠金字塔网络模型的服装关键点检测

05-06

服装关键点的检测对服饰分类、推荐和检索效果具有重要的作用，然而实际服装数据库中存在大量形变及背景复杂的服饰图片，导致现有服装分类模型的识别率和服装推荐、检索的效果较差.为此，本文提出了一种级联层叠金字塔网络模型CSPN （Cascaded Stacked Pyramid Network），将目标检测方法与回归方法相结合，首先采用Faster R-CNN结构对服装目标区域进行识别，然后基于ResNet-101结构生成的多层级特征图，构建级联金字塔网络，融合服饰图像的多尺度高低层信息，解决图片形变及复杂背景下服装关键点识别准确度不高等问题.实验结果表明，CSPN模型在DeepFashion数据集上较其他三种模型对服装关键点具有较高识别度.

3 条评论

您还未登录，请先

后发表或查看评论

Python-SPNLearningAffinityviaSpatialPropagationNetworks

08-11

SPN：Learning Affinity via Spatial Propagation Networks

辽宁台退出CSPN名嘴黄健翔追讨百万元工资归纳.pdf

11-02

辽宁台退出CSPN名嘴黄健翔追讨百万元工资归纳.pdf

引导方法深度补全系列—基于SPN模型—2—《CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagat》文章细

CSPNNN的博客

09-12

812

创新点

1.引入其他参数预测（自适应卷积核大小，传播迭代次数）每个像素的适当配置来增强CSPN

2.加入了资源估计的触发器（可能检测一下设备的gpu），根据给定的设备调整参数，例如卷积核的大小

每天一篇论文 273/365 Learning Depth with Convolutional SpatialPropagation Network

流浪机器人的博客

11-28

788

卷积空间传播网络学习深度

原文

Code

SPN网络

摘要

本文提出了卷积空间传播网络（CSPN），并证明了其在各种深度估计任务中的有效性。CSPN是一种简单而有效的线性传播模型，它利用递归卷积运算的amanner进行传播，通过一个深卷积神经网络（CNN）学习相邻像素之间的亲和力。与以往的最新线性传播模型（SPN）相比，CSPN在实际应用中要快2～5倍。将CSPN及其变体连接到SOTA深度估计网络...

论文解读 Learning Depth with Convolutional Spatial Propagation Network

DeH40的博客

12-22

3433

Learning Depth with Convolutional Spatial Propagation Network

这篇论文里提出的网络是目前KITTI2015排行榜一，作者提出的CSPN既可以用于深度预测也可以用于深度图补全。

本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Netw...

引导方法深度补全系列—基于SPN模型—4—《Penet:Towards precise and efficient image guided depth completion》文章细读

CSPNNN的博客

09-12

604

1.双分支结构，并加速了CSPN++，此时使用这种方法为了精细融合后的深度图

利用cspn进行深度补全

weixin_42581003的博客

02-16

418

CSPN(Conditional Similarity Network)是一种用于深度补全的神经网络模型。它可以通过给出一些已知的深度信息，如深度图或点云，来预测未知区域的深度信息。

CSPN 的主要思想是通过计算相似性来进行深度预测。具体来说，它通过在已知深度值的点周围建立相似性函数来估计未知区域的深度。这个相似性函数考虑了已知点的位置和深度信息，以及未知点与已知点之间的距离和方向关系。通过优化...

CSPN

sinoai

12-21

3230

原文

提出卷积空间传播网络(CSPN)为深度估计学习关联矩阵。具体来说就是，采用一个线性传播模型以循环卷积的形式传播，DCNN学习临近像素间的关联关系。

深度估计提升性能的方法有：

使用更好的网络(如VGG、ResNet)估计全局场景布局和尺度。

通过反卷积、跳跃连接、反投影更好地恢复局部纹理。

我们提出的CSPN中，每个像素的深度值在一个卷积上下文中同时更新。这个长程上下文(long r...

CSPN:卷积空间传播网络

05-25

卷积空间传播网络程新京，王鹏，关晨烨，杨瑞刚 ... title={Depth estimation via affinity learned with convolutional spatial propagation network}, author={Cheng, Xinjing and Wang, Peng and Yang,

Convolutional Spatial Propagation Network代码解读

weixin_42613360的博客

02-16

卷积空间传播网络(Convolutional Spatial Propagation Network)是一种用于图像处理的深度学习技术，其代码解读包括：构建卷积空间传播网络，识别图像中的特征，进行可视化以及训练和测试。

...

【深度学习论文翻译】Learning Spatiotemporal Features with 3D Convolutional Networks全文对照翻译

唐申庚的博客

11-04

6314

用3D卷积网络学习时空特征

摘要

We propose a simple, yet effective approach for spatiotemporal feature learning using deep 3-dimensional convolutional networks (3D ConvNets) trained on a large scale supervised vid...

论文阅读 Learning Affinity via Spatial Propagation Networks

共勉，我的学习日记

12-14

6719

abstract

通过一个空间传播网络来学习affinity matrix来用于vision tasks实验证明构造一个线性传播模型空间上变换的affinity matrix可以用来建模图像密集和全局相似性本文创建了一个three-way 连接的线性传播模型该模型构造了一个所有元素均来自于DCNN的稀疏传播矩阵同时创造了一个能用来建模任意特定任务的密集近邻矩阵本文用data-driven manne

论文阅读 SPN和CSPN

路边的石头

08-30

3418

文章目录摘要介绍相关工作作者的方法Convolutional Spatial Propagation Network

摘要

我们提出了一种简单而有效的卷积空间传播网络（CSPN）学习深度预测的亲和矩阵.

具体来说，我们采用了一种有效的线性传播模型，其中传播使用循环卷积运算的方式执行，并且相邻像素之间的affinity通过深度卷积神经网络(CNN)学习

我们在两个单张图像进行深度估计的任务中应用了CSPN

Refine 已有SOTA的输出

在传播过程中嵌入深度采样，把稀疏的深度图变成密集的深

深度补全-PENet_ICRA2021论文梳理和代码阅读记录

路边的石头

08-07

2102

input_options = ['d', 'rgb', 'rgbd', 'g', 'gd']

kitti_loaders.py

def load_calib():

使用2011_09_26的calib文件临时硬编码校准矩阵

def get_paths_and_transform(split, args):

if split == "train":

transform = train_transform

glob_d =

glob_gt =

来自百度团队的KITTI立体匹配霸榜论文详解

图像算法Imalg的博客

12-13

836

导读

受众目标：

对立体匹配任务感兴趣并有一定深度学习基础的相关研究者。

论文信息：

名称：“Learning Depth with Convolutional Spatial Propagation Network”

作者：来自百度团队。”Cheng Xinjing，Peng Wang和Ruigang Y ang，IEEE高级成员。

介绍：

该团队提出卷积空间传播网络（CSPN），简称...

引导方法深度补全系列—基于SPN模型—5—《Dynamic spatial propagation network for depth completion》文章细读

CSPNNN的博客

09-12

680

1.提出了动态空间传播网络，一种非线性传播模型，动态调整亲和力权重

*2.扩散抑制操作，防止迭代过拟合造成深度过于平滑

每天一篇论文(270/365) Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

流浪机器人的博客

11-24

1384

Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

通过卷积空间传播网络进行相似性学习深度估计

code

摘要

单幅图像的深度估计是计算机视觉中的一个基本问题。本文提出一种简单而有效的卷积空间传播网络（CSPN）来学习深度预测的相似矩阵。具体地说，我们采用了一种有效的线性传播模型，...

yolo中的CSPN

论文阅读 SPN和CSPN_cspn论文-CSDN博客

论文阅读 SPN和CSPN

最新推荐文章于 2024-03-04 10:22:26 发布

Flying Stone

最新推荐文章于 2024-03-04 10:22:26 发布

阅读量3.4k

点赞数

分类专栏：

深度补全

文章标签：

深度学习

自动驾驶

神经网络

本文链接：https://blog.csdn.net/weixin_42840360/article/details/119982502

版权

深度补全

专栏收录该内容

1 篇文章

0 订阅

订阅专栏

文章目录

Spatial Propagation NetworkDepth Estimation via Affinity Learned with Convolutional Spatial Propagation Network摘要介绍相关工作作者的方法Convolutional Spatial Propagation Network

SPN

论文链接

CSPN

论文链接

Spatial Propagation Network

Linear Propagation as Spatial Diffusion

我们在空间传播网络的同时应用了线性变换，其中矩阵在四个固定方向上进行行/列扫描：从左到右、从上到下还有 verse-vise 。我们以从左到右的方向为例进行下面的讨论。其他方向以相同的方式独立处理。

Learning Data-Driven Affinity

Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

摘要

我们提出了一种简单而有效的卷积空间传播网络（CSPN）学习深度预测的亲和矩阵. 具体来说，我们采用了一种有效的线性传播模型，其中传播使用循环卷积运算的方式执行，并且相邻像素之间的affinity通过深度卷积神经网络(CNN)学习我们在两个单张图像进行深度估计的任务中应用了CSPN

Refine 已有SOTA的输出在传播过程中嵌入深度采样，把稀疏的深度图变成密集的深度图

介绍

SPN是串行的提出了CSPN，速度和准确率都更高，并且不牺牲理论支持我们将CSPN扩展到使用传播过程中提供的稀疏深度将稀疏深度样本转换为密集深度图的任务。它保证稀疏输入深度值保留在最终深度贴图中。它实时运行，非常适合机器人技术和自动驾驶应用，在这些应用中，激光雷达的稀疏深度测量可以与图像数据融合

中国电视体育联播平台_百度百科

体育联播平台_百度百科网页新闻贴吧知道网盘图片视频地图文库资讯采购百科百度首页登录注册进入词条全站搜索帮助首页秒懂百科特色百科知识专题加入百科百科团队权威合作下载百科APP个人中心收藏查看我的收藏0有用+10中国电视体育联播平台播报讨论上传视频众多省级体育频道同步播出的跨省区域的联播平台中国电视体育联播平台即CSPN，是中国唯一由众多省级体育频道实现同步播出的、跨省区域的联播平台，由相关电视台携手神州天地影视传媒有限公司共同策划和发起，2007年10月1日成功试播，2008年1月1日正式开播。CSPN首创“联合引进、联合制作、联合播出”模式，以多台同节目矩阵的产业新模型，为中国电视体育报道产业迎来历史拐点。中文名中国电视体育联播平台外文名CSPN试播时间2007年10月1日正式开播2008年1月1日目录1覆盖区域2理念优势3节目设置4广告经营覆盖区域播报编辑在平台覆盖上，CSPN树根式覆盖辽宁、山东、湖北、新疆、江西、内蒙古等6省，并通过成员台新疆体育健康频道，先后成功落地湖南（长沙、衡阳、岳阳、常德）、浙江（杭州、宁波城区）、安徽（合肥、芜湖）、贵州（贵阳市、遵义市、安顺市、六盘水市、毕节地区、铜仁地区、黔东南州、黔南州、黔西南州等该省绝大部分人口稠密区）、山西（太原）、福建（泉州、晋江）以及西藏（拉萨）。CSPN正通过增加成员台数量、扩大新疆体育健康频道落地、精品节目全国联播等方式，继续将覆盖扩展至全国更多省市。理念优势播报编辑在制作工艺中，CSPN首家实现“中央厨房”理念，斥巨资在北京大兴“星光影视园”，物理化构建了集传输、播控和制作于一体的全网络化制作基地，占地4000平米。CSPN拥有标清、高清两路技术系统，采用全球最先进的P2卡制播系统，通过卫星和中国广电网主备双路向全国传输信号，在中国率先搭建全网数字化播出平台。CSPN汇聚全国最大的成员台千人制作团队，并从中抽调300余精英集中在北京节目基地，与成员台当地驻留人员共同完成CSPN各类节目的联合制作、统一播出。节目设置播报编辑在节目配置上，以“新闻为龙头，赛事为支撑，自办栏目为亮点”。CSPN矩阵式设立早报、午报、时报、晚报，卫星汇接SNTV、路透、XHTV等全球新鲜资讯，率先倡导“我在世界”新闻理念。CSPN每年斥巨资购买3500小时赛事首播版权，钜献中超、欧冠联赛、英超、西甲、意甲、CBA、NBA等2200场以上大赛，倾力打造第一赛场。CSPN正原创推出一系列精品专题，包括：《天下球》、《神州话体育》、《菲菲带我飞》、《魅力体育》、《绿茵集结号》、《嗨客体育》、《艾尚体育》等，将体育与生活、娱乐、时尚四位一体相结合，充分满足了不同年龄阶段和各类人群的收视需求；周日蓄积资源创办（LIVE-DAY），创造中国体育频道最长的《直播日》。广告经营播报编辑在广告经营上，CSPN的广告由神州天地影视传媒有限公司集成、运作，并由旗下神创天地广告有限公司统一代理，致力为客户提供最大的广告投资回报率、最高的广告性价比。新手上路成长任务编辑入门编辑规则本人编辑我有疑问内容质疑在线客服官方贴吧意见反馈投诉建议举报不良信息未通过词条申诉投诉侵权信息封禁查询与解封©2024 Baidu 使用百度前必读 | 百科协议 | 隐私政策 | 百度百科合作平台 | 京ICP证030173号京公网安备110000020000

Convolutional Spatial Propagation Network 简介与代码简析 - 知乎

Convolutional Spatial Propagation Network 简介与代码简析 - 知乎首发于人工智能与计算机视觉笔记切换模式写文章登录/注册Convolutional Spatial Propagation Network 简介与代码简析Uno Whoiam疑问请付费咨询~ AI&CV/科技人文求知者/好读书欲求甚解项目地址：XinJCheng/CSPN论文列表：1、Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image2、Learning Affinity via Spatial Propagation Networks3、Learning Depth with Convolutional Spatial Propagation Network4、Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network这篇论文关系紧密，最主要介绍的是第2、4篇。一、Convolutional Spatial Propagation Network 的起源在图像密集预测 (dense prediction) 类型的任务例如深度估计、语义分割中，如果利用每个点与相邻点的预测之间的关系进行优化，往往可以得到更为准确而精细的结果，例如DenseCRF就是如此：论文：Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials相同思路的方法还有SPN，通过四个方向的空间传播收集周围点的相似（Affinity）信息CSPN 即基于 SPN 做出的改进，用卷积核的方式直接得到4个方向上的信息，另外通过循环迭代，得到更大相邻半径的信息：二、Convolutional Spatial Propagation Network 的原理简介对于一个深度估计的网络而言，输出大小为 MxNx1，对应图片每个像素的深度。CSPN 则在其基础上多输出一个 MxNx8 的分支，其中 8 表示对于每个像素的8个邻接点与其的相似性（Affinity）信息。有了这个 MxNx8 相似性信息，我们先要对其进行 Normalize，具体方法如下 where 之后所描述的， \hat k 为模型输出， k \in (-1,1) 为 Normalize 后的值，然后将其看做3x3卷积核的权重，在 MxNx1 上进行卷积，即可使用周围信息对每个点的预测结果进行优化，而且这个过程可以多次迭代，每迭代一次，考虑的相邻半径越大：三、Convolutional Spatial Propagation Network 的源码简析在CSPN论文源码1中，描述了模型结构，简单来说就是一个UNet，输出 MxNx1 的粗略估计分支，和 MxNx8 的相邻信息分支。代码节选：class ResNet(nn.Module):

def __init__(self, block, layers, up_proj_block, cspn_config=None):

self.inplanes = 64

cspn_config_default = {'step': 24, 'kernel': 3, 'norm_type': '8sum'}

if not (cspn_config is None):

cspn_config_default.update(cspn_config)

print(cspn_config_default)

super(ResNet, self).__init__()

self.conv1_1 = nn.Conv2d(4, 64, kernel_size=7, stride=2, padding=3,

bias=False)

self.bn1 = nn.BatchNorm2d(64)

self.relu = nn.ReLU(inplace=True)

self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1)

self.layer1 = self._make_layer(block, 64, layers[0])

self.layer2 = self._make_layer(block, 128, layers[1], stride=2)

self.layer3 = self._make_layer(block, 256, layers[2], stride=2)

self.layer4 = self._make_layer(block, 512, layers[3], stride=2)

self.mid_channel = 256*block.expansion

self.conv2 = nn.Conv2d(512*block.expansion, 512*block.expansion, kernel_size=3,

stride=1, padding=1, bias=False)

self.bn2 = nn.BatchNorm2d(512*block.expansion)

self.up_proj_layer1 = self._make_up_conv_layer(up_proj_block,

self.mid_channel,

int(self.mid_channel/2))

self.up_proj_layer2 = self._make_up_conv_layer(up_proj_block,

int(self.mid_channel/2),

int(self.mid_channel/4))

self.up_proj_layer3 = self._make_up_conv_layer(up_proj_block,

int(self.mid_channel/4),

int(self.mid_channel/8))

self.up_proj_layer4 = self._make_up_conv_layer(up_proj_block,

int(self.mid_channel/8),

int(self.mid_channel/16))

self.conv3 = nn.Conv2d(128, 1, kernel_size=3, stride=1, padding=1, bias=False)

self.post_process_layer = self._make_post_process_layer(cspn_config_default)

self.gud_up_proj_layer1 = self._make_gud_up_conv_layer(Gudi_UpProj_Block, 2048, 1024, 15, 19)

self.gud_up_proj_layer2 = self._make_gud_up_conv_layer(Gudi_UpProj_Block_Cat, 1024, 512, 29, 38)

self.gud_up_proj_layer3 = self._make_gud_up_conv_layer(Gudi_UpProj_Block_Cat, 512, 256, 57, 76)

self.gud_up_proj_layer4 = self._make_gud_up_conv_layer(Gudi_UpProj_Block_Cat, 256, 64, 114, 152)

self.gud_up_proj_layer5 = self._make_gud_up_conv_layer(Simple_Gudi_UpConv_Block_Last_Layer, 64, 1, 228, 304)

self.gud_up_proj_layer6 = self._make_gud_up_conv_layer(Simple_Gudi_UpConv_Block_Last_Layer, 64, 8, 228, 304)

def _make_layer(self, block, planes, blocks, stride=1):

downsample = None

if stride != 1 or self.inplanes != planes * block.expansion:

downsample = nn.Sequential(

nn.Conv2d(self.inplanes, planes * block.expansion,

kernel_size=1, stride=stride, bias=False),

nn.BatchNorm2d(planes * block.expansion),

)

layers = []

layers.append(block(self.inplanes, planes, stride, downsample))

self.inplanes = planes * block.expansion

for i in range(1, blocks):

layers.append(block(self.inplanes, planes))

return nn.Sequential(*layers)

def _make_up_conv_layer(self, up_proj_block, in_channels, out_channels):

return up_proj_block(in_channels, out_channels)

def _make_gud_up_conv_layer(self, up_proj_block, in_channels, out_channels, oheight, owidth):

return up_proj_block(in_channels, out_channels, oheight, owidth)

def _make_post_process_layer(self, cspn_config=None):

return post_process.Affinity_Propagate(cspn_config['step'],

cspn_config['kernel'],

norm_type=cspn_config['norm_type'])

def forward(self, x):

[batch_size, channel, height, width] = x.size()

sparse_depth = x.narrow(1,3,1).clone()

x = self.conv1_1(x)

skip4 = x

x = self.bn1(x)

x = self.relu(x)

x = self.maxpool(x)

x = self.layer1(x)

skip3 = x

x = self.layer2(x)

skip2 = x

x = self.layer3(x)

x = self.layer4(x)

x = self.bn2(self.conv2(x))

x = self.gud_up_proj_layer1(x)

x = self.gud_up_proj_layer2(x, skip2)

x = self.gud_up_proj_layer3(x, skip3)

x = self.gud_up_proj_layer4(x, skip4)

guidance = self.gud_up_proj_layer6(x)

x= self.gud_up_proj_layer5(x)

x = self.post_process_layer(guidance, x, sparse_depth)

return x其中 self.post_process_layer 就是最为关键 CSPN 层，实现如下：class Affinity_Propagate(nn.Module):

def __init__(self,

prop_time,

prop_kernel,

norm_type='8sum'):

"""

Inputs:

prop_time: how many steps for CSPN to perform

prop_kernel: the size of kernel (current only support 3x3)

way to normalize affinity

'8sum': normalize using 8 surrounding neighborhood

'8sum_abs': normalization enforcing affinity to be positive

This will lead the center affinity to be 0

"""

super(Affinity_Propagate, self).__init__()

self.prop_time = prop_time

self.prop_kernel = prop_kernel

assert prop_kernel == 3, 'this version only support 8 (3x3 - 1) neighborhood'

self.norm_type = norm_type

assert norm_type in ['8sum', '8sum_abs']

self.in_feature = 1

self.out_feature = 1

def forward(self, guidance, blur_depth, sparse_depth=None):

self.sum_conv = nn.Conv3d(in_channels=8,

out_channels=1,

kernel_size=(1, 1, 1),

stride=1,

padding=0,

bias=False)

weight = torch.ones(1, 8, 1, 1, 1).cuda()

self.sum_conv.weight = nn.Parameter(weight)

for param in self.sum_conv.parameters():

param.requires_grad = False

gate_wb, gate_sum = self.affinity_normalization(guidance)

# pad input and convert to 8 channel 3D features

raw_depth_input = blur_depth

#blur_depht_pad = nn.ZeroPad2d((1,1,1,1))

result_depth = blur_depth

if sparse_depth is not None:

sparse_mask = sparse_depth.sign()

for i in range(self.prop_time):

# one propagation

spn_kernel = self.prop_kernel

result_depth = self.pad_blur_depth(result_depth)

neigbor_weighted_sum = self.sum_conv(gate_wb * result_depth)

neigbor_weighted_sum = neigbor_weighted_sum.squeeze(1)

neigbor_weighted_sum = neigbor_weighted_sum[:, :, 1:-1, 1:-1]

result_depth = neigbor_weighted_sum

if '8sum' in self.norm_type:

result_depth = (1.0 - gate_sum) * raw_depth_input + result_depth

else:

raise ValueError('unknown norm %s' % self.norm_type)

if sparse_depth is not None:

result_depth = (1 - sparse_mask) * result_depth + sparse_mask * raw_depth_input

return result_depth

def affinity_normalization(self, guidance):

# normalize features

if 'abs' in self.norm_type:

guidance = torch.abs(guidance)

gate1_wb_cmb = guidance.narrow(1, 0 , self.out_feature)

gate2_wb_cmb = guidance.narrow(1, 1 * self.out_feature, self.out_feature)

gate3_wb_cmb = guidance.narrow(1, 2 * self.out_feature, self.out_feature)

gate4_wb_cmb = guidance.narrow(1, 3 * self.out_feature, self.out_feature)

gate5_wb_cmb = guidance.narrow(1, 4 * self.out_feature, self.out_feature)

gate6_wb_cmb = guidance.narrow(1, 5 * self.out_feature, self.out_feature)

gate7_wb_cmb = guidance.narrow(1, 6 * self.out_feature, self.out_feature)

gate8_wb_cmb = guidance.narrow(1, 7 * self.out_feature, self.out_feature)

# gate1:left_top, gate2:center_top, gate3:right_top

# gate4:left_center, , gate5: right_center

# gate6:left_bottom, gate7: center_bottom, gate8: right_bottm

# top pad

left_top_pad = nn.ZeroPad2d((0,2,0,2))

gate1_wb_cmb = left_top_pad(gate1_wb_cmb).unsqueeze(1)

center_top_pad = nn.ZeroPad2d((1,1,0,2))

gate2_wb_cmb = center_top_pad(gate2_wb_cmb).unsqueeze(1)

right_top_pad = nn.ZeroPad2d((2,0,0,2))

gate3_wb_cmb = right_top_pad(gate3_wb_cmb).unsqueeze(1)

# center pad

left_center_pad = nn.ZeroPad2d((0,2,1,1))

gate4_wb_cmb = left_center_pad(gate4_wb_cmb).unsqueeze(1)

right_center_pad = nn.ZeroPad2d((2,0,1,1))

gate5_wb_cmb = right_center_pad(gate5_wb_cmb).unsqueeze(1)

# bottom pad

left_bottom_pad = nn.ZeroPad2d((0,2,2,0))

gate6_wb_cmb = left_bottom_pad(gate6_wb_cmb).unsqueeze(1)

center_bottom_pad = nn.ZeroPad2d((1,1,2,0))

gate7_wb_cmb = center_bottom_pad(gate7_wb_cmb).unsqueeze(1)

right_bottm_pad = nn.ZeroPad2d((2,0,2,0))

gate8_wb_cmb = right_bottm_pad(gate8_wb_cmb).unsqueeze(1)

gate_wb = torch.cat((gate1_wb_cmb,gate2_wb_cmb,gate3_wb_cmb,gate4_wb_cmb,

gate5_wb_cmb,gate6_wb_cmb,gate7_wb_cmb,gate8_wb_cmb), 1)

# normalize affinity using their abs sum

gate_wb_abs = torch.abs(gate_wb)

abs_weight = self.sum_conv(gate_wb_abs)

gate_wb = torch.div(gate_wb, abs_weight)

gate_sum = self.sum_conv(gate_wb)

gate_sum = gate_sum.squeeze(1)

gate_sum = gate_sum[:, :, 1:-1, 1:-1]

return gate_wb, gate_sum

def pad_blur_depth(self, blur_depth):

# top pad

left_top_pad = nn.ZeroPad2d((0,2,0,2))

blur_depth_1 = left_top_pad(blur_depth).unsqueeze(1)

center_top_pad = nn.ZeroPad2d((1,1,0,2))

blur_depth_2 = center_top_pad(blur_depth).unsqueeze(1)

right_top_pad = nn.ZeroPad2d((2,0,0,2))

blur_depth_3 = right_top_pad(blur_depth).unsqueeze(1)

# center pad

left_center_pad = nn.ZeroPad2d((0,2,1,1))

blur_depth_4 = left_center_pad(blur_depth).unsqueeze(1)

right_center_pad = nn.ZeroPad2d((2,0,1,1))

blur_depth_5 = right_center_pad(blur_depth).unsqueeze(1)

# bottom pad

left_bottom_pad = nn.ZeroPad2d((0,2,2,0))

blur_depth_6 = left_bottom_pad(blur_depth).unsqueeze(1)

center_bottom_pad = nn.ZeroPad2d((1,1,2,0))

blur_depth_7 = center_bottom_pad(blur_depth).unsqueeze(1)

right_bottm_pad = nn.ZeroPad2d((2,0,2,0))

blur_depth_8 = right_bottm_pad(blur_depth).unsqueeze(1)

result_depth = torch.cat((blur_depth_1, blur_depth_2, blur_depth_3, blur_depth_4,

blur_depth_5, blur_depth_6, blur_depth_7, blur_depth_8), 1)

return result_depth

最主要的计算部分如下： gate_wb, gate_sum = self.affinity_normalization(guidance)

# pad input and convert to 8 channel 3D features

raw_depth_input = blur_depth

#blur_depht_pad = nn.ZeroPad2d((1,1,1,1))

result_depth = blur_depth

if sparse_depth is not None:

sparse_mask = sparse_depth.sign()

for i in range(self.prop_time):

# one propagation

spn_kernel = self.prop_kernel

result_depth = self.pad_blur_depth(result_depth)

neigbor_weighted_sum = self.sum_conv(gate_wb * result_depth)

neigbor_weighted_sum = neigbor_weighted_sum.squeeze(1)

neigbor_weighted_sum = neigbor_weighted_sum[:, :, 1:-1, 1:-1]

result_depth = neigbor_weighted_sum

if '8sum' in self.norm_type:

result_depth = (1.0 - gate_sum) * raw_depth_input + result_depth

else:

raise ValueError('unknown norm %s' % self.norm_type)

if sparse_depth is not None:

result_depth = (1 - sparse_mask) * result_depth + sparse_mask * raw_depth_input

return result_depthgate_wb 为8个邻接点权重gate_sum 为8个邻接点权重之和blur_depth 为模型的原始深度预测输出sparse_depth 为含有部分真实深度值和大部分深度缺省的值这样通过卷积的方式就可以快速计算CSPN的结果。达到了速度和性能的提升。PS：广告时间啦~理工生不想被人文素养拖后腿？不妨关注微信公众号：欢迎扫码关注~编辑于 2020-02-05 21:42深度学习（Deep Learning）计算机视觉network赞同 372 条评论分享喜欢收藏申请转载文章被以下专栏收录人工智能与计算机视觉笔记通俗易懂的专业人工智能与计算机视

首页-项目管理人员评价信息系统

首页

关于评价

项目管理标准化

通知公告

新闻动态

授权培训机构

授权讲师

活动专区

常见问题

联系我们

考生报名

CANDIDATE REGISTRATION

关于评价

ABOUT EVALUATION

报名指南

REGISTRATION GUIDE

证书查询

CERTIFICATE INQUIRY

通知公告

新闻动态

CSPM-3级（中级项目管理专业人员）考试内容大纲

现发布2023年CSPM -3级（中级项目管理专业人员）考试内容大纲，请大家参阅了解。

CSPM-3级（中级项目管理专业人员）考试内容大纲2023-12-14

关于开展高级“项目管理专业人员培训”培训讲师授权...2024-01-15

关于征集2024年度项目管理国家标准制修订计划项目的...2024-01-12

关于2024年度CSPM评价考试计划的通知2024-01-11

关于征集全国项目管理标准化技术委员会专家库入库专...2024-01-08

“项目管理专业人员能力评价” 1月27日考试及综合评...

“项目管理专业人员能力评价” 1月27日考试及综合评...2024-02-27

您好，讲师 | CSPM优秀讲师展示——我们眼中的张燕...2024-03-01

您好，讲师 | CSPM优秀讲师展示——我们眼中的肖杨老师2024-03-01

项目管理专业人员优秀培训机构展示：慧翔天地2024-03-01

项目管理专业人员优秀培训机构展示：希赛网2024-02-22

更多 >>

活动专区

ACTIVITY ZONE

【直播预告】 “学国标用国标-...2024-01-29

【直播预告】“项目管理专业人...2023-11-16

【直播预告】“学国标用国标...2023-09-18

“项目管理从业者的能力阶梯与...2023-07-10

更多 >>

授权培训机构

AUTHORIZED TRAINING INSTITUTIONS

希赛网2023-08-25

慧翔天地管理咨询（北京）有限...2023-08-25

上海清晖管理咨询有限公司2023-08-24

北京泛华卓越企业管理顾问有限...2023-08-25

青岛时代企业培训服务有限公司2023-08-23

河南杰创引智企业管理咨询有限...2023-08-25

更多 >>

常见问题

FAQ

如何修改邮箱和手机号？2024-02-23

如何查看纸质发票邮寄信息2023-08-21

如何下载准考证？2023-05-15

如何申请退考？2023-08-21

更多 >>

授权讲师

QUALIFIED INSTRUCTOR

讲师：陈信祥

讲师：肖杨

讲师：张燕歌

讲师：丁荣贵

讲师：孙虎

讲师：欧立雄

讲师：强茂山

讲师：靳朝阳

讲师：谢淑娟

讲师：王安

讲师：罗福星

讲师：王勇

讲师：叶景发

讲师：汤毅

讲师：吴志德

讲师：李尤

讲师：高屹

讲师：康俊鹏

讲师：张智喨

讲师：宣晓锋

讲师：杨俊

讲师：付亚清

讲师：刘亚琳

讲师：刘巨波

讲师：巩正阳

讲师：岳建伟

讲师：袁柯

讲师：张会斌

讲师：熊小云

讲师：李昀

讲师：赵灿

讲师：覃军

讲师：罗文兵

讲师：夏银生

讲师：胡光超

讲师：宋琳琳

讲师：李家乐

讲师：杨泉

讲师：胡芳

讲师：金爱蝶

讲师：李志红

讲师：苏建

讲师：陈万茹

讲师：孟彦飞

讲师：梁立斌

讲师：付宇

讲师：边国华

讲师：魏涛

讲师：张晔

讲师：吴玉得

讲师：刘红梅

讲师：吴超

讲师：殷耀玺

讲师：陶新昕

讲师：刘守信

讲师：张云辉

讲师：王海琨

讲师：刘洁白雪

讲师：王大鹏

讲师：冯兰淇

讲师：武冀文

讲师：沈浩璋

讲师：张雷

讲师：童俊

讲师：李皓

讲师：杨波平

讲师：邓艳波

讲师：张文川

讲师：宓立卫

讲师：庄建志

讲师：闻潇

讲师：张洁

讲师：赵金龙

讲师：韩方全

讲师：王媛

讲师：陈华强

讲师：温为民

讲师：肖泽涛

讲师：米瑞君

讲师：薛鹏

友情链接

Friendship link

市场监管总局

国家标准委

ISO

技术支持：中科软科技股份有限公司

地址：北京市海淀区增光路33号中国标协写字楼

ICP备案序号：京ICP备05036280号-1

京公网安备:11010802031250号

项目管理标准化

浏览网站人数统计

论文解读 Learning Depth with Convolutional Spatial Propagation Network-CSDN博客

论文解读 Learning Depth with Convolutional Spatial Propagation Network

最新推荐文章于 2023-02-16 17:11:07 发布

DeH40

最新推荐文章于 2023-02-16 17:11:07 发布

阅读量3.4k

点赞数

本文链接：https://blog.csdn.net/qq_17518433/article/details/103657607

版权

Learning Depth with Convolutional Spatial Propagation Network

这篇论文里提出的网络是目前KITTI2015排行榜一，作者提出的CSPN既可以用于深度预测也可以用于深度图补全。

本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Networks(CSPN)，相较于SPN，CSPN可以并行计算且效果更好。CSPN和SPN一样，都使用affinity matrix（相似度矩阵）来进行传播的网络，affinity matrix是用来确定空间中两个点相似性的矩阵。

为了将CSPN用于立体匹配（处理4D的CostVolume），作者将CSPN扩展到了3D提出了3D CSPN。受spatial pyramid pooling (SPP)的启发，作者把CSPN和SPP相结合，提出了convolutional spatial pyramid pooling(CSPP)。

1.CSPN将SPN的按线方向的传播过程改为了卷积操作：

写成向量化的形式如下：

同时将他扩展到了3D：

下面的这个图展示了SPN和CSPN以及3D CSPN的区别：

2.作者提出所谓的spatial pyramid pooling(SPP)其实就是一种CSPN的特例：

给定大小为的特征以及空间大小为的目标池化特征图后，空间池化计算每个分块格网的均值，这就相当于设置核大小为，步长为p和q且设置中的所有值为一致时的单步CSPN。因此可以将SPP使用不同卷积核尺寸和不同步长的CSPN代替：

作者把这个叫做CSPP，为了强化其效果作者采用了类似于注意力机制的方法，将Affinity Matrix融合到其中提出了Convolutional spatial

pyramid fusion （CSPF）：

下图是CSPN用于深度预测的网络结构图，其基础来自于PSMNet，主要做了两项变动：将其其空间池化模块替换为CSPF，并在多尺度输出之后附加了3DCSPN。

优惠劵

DeH40

关注

踩

觉得还不错?

一键收藏

知道了

论文解读 Learning Depth with Convolutional Spatial Propagation Network

Learning Depth with Convolutional Spatial Propagation Network这篇论文里提出的网络是目前KITTI2015排行榜一，作者提出的CSPN既可以用于深度预测也可以用于深度图补全。本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Netw...

复制链接

扫一扫

Learning a Deep Convolutional Network for Image Super-Resolution论文分析与pytorch代码

01-06

Learning a Deep Convolutional Network for Image Super-Resolution论文地址简介模型图模型框架算法流程Patch extraction and representationnon-linear mapping 非线性映射Reconstruction训练测试实验结果Pytorch代码实现使用说明文件存放运行代码model.pydata.pymain.pyrun.py运行操作图片对比Original imageBicubic imageSRCNN image后续工作参考文章

论文地址

简介

超分辨率技术（Super-Resolution）

Python-SPNLearningAffinityviaSpatialPropagationNetworks

08-11

SPN：Learning Affinity via Spatial Propagation Networks

参与评论

您还未登录，请先

后发表或查看评论

论文阅读 Learning Affinity via Spatial Propagation Networks

共勉，我的学习日记

12-14

6719

abstract

论文笔记-Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

kingsleyluoxin的博客

08-26

1031

论文信息

标题： Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

作者：Xinjing Cheng, Peng Wang, Ruigang Yang

机构：百度研究院

出处：ECCV 2018

代码链接

https://github.com/XinJCheng/CSPN

论文主要贡献

提出 CSPN 模块，比起 SOTA 的传播策略，能够高效、精确地进行深度估计

将..

论文笔记_S2D.17-2018-ECCV-通过卷积空间传播网络（CSPN）的相似性学习进行深度估计

惊鸿一博

09-14

1671

基本情况

题目：Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

通过卷积空间传播网络进行相似性学习进行深度估计

作者：Xinjing Cheng⋆, Peng Wang⋆ and Ruigang Yang

Baidu Research, Baidu Inc.

引用：Cheng, X., Wang, P., & Yang, R..

每天一篇论文 273/365 Learning Depth with Convolutional SpatialPropagation Network

流浪机器人的博客

11-28

788

卷积空间传播网络学习深度

原文

Code

SPN网络

摘要

CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记

weixin_42954710的博客

11-15

3900

一、先阅读总结

源代码：link

https://github.com/XinJCheng/CSPN

这篇论文是当前时间段立体匹配KITTI2015数据集榜单第一名，阅读后记录下来方便以后自己查阅。

这篇论文是从两个方面做的：depth completion（下图的上面部分） and stereo matching（下图的下面部分）。

首先，depth completion（深度完成）是单目复原三...

Convolutional Spatial Propagation Network代码解读

weixin_42613360的博客

02-16

...

来自百度团队的KITTI立体匹配霸榜论文详解

图像算法Imalg的博客

12-13

836

导读

受众目标：

对立体匹配任务感兴趣并有一定深度学习基础的相关研究者。

论文信息：

名称：“Learning Depth with Convolutional Spatial Propagation Network”

作者：来自百度团队。”Cheng Xinjing，Peng Wang和Ruigang Y ang，IEEE高级成员。

介绍：

该团队提出卷积空间传播网络（CSPN），简称...

论文阅读 SPN和CSPN

路边的石头

08-30

3418

文章目录摘要介绍相关工作作者的方法Convolutional Spatial Propagation Network

摘要

我们提出了一种简单而有效的卷积空间传播网络（CSPN）学习深度预测的亲和矩阵.

具体来说，我们采用了一种有效的线性传播模型，其中传播使用循环卷积运算的方式执行，并且相邻像素之间的affinity通过深度卷积神经网络(CNN)学习

我们在两个单张图像进行深度估计的任务中应用了CSPN

Refine 已有SOTA的输出

在传播过程中嵌入深度采样，把稀疏的深度图变成密集的深

ImageNet Classification with Deep Convolutional Neural Network

02-06

ImageNet Classification with Deep Convolutional Neural Network

论文讲解Learning Spatiotemporal Features with 3D Convolutional Networks（C3D） .ppt

05-22

行为识别C3Dppt

Learning Efficient Convolutional Networks via Network Slimming

01-20

1、使用网路稀疏化方法来对CNN模型进行压缩 2、能够在模型大小、运行内存和运行时间上进行优化 3、准确度的损失在接受范围

DocumentModeling with Convolutional-Gated Recurrent Neural Network for SentimentClassification

02-06

DocumentModeling with Convolutional-Gated Recurrent Neural Network for SentimentClassification

springboot学生毕业离校系统PPT

深度学习双目匹配（7） - 知乎

深度学习双目匹配（7） - 知乎首发于SLAM中的深度学习切换模式写文章登录/注册深度学习双目匹配（7）JFLY计算光刻，机器视觉，生物电信号处理CSPN（1810.02695v3）《Learning Depth with Convolutional Spatial Propagation Network》在本文中，我们提出了卷积空间传播网络（CSPN），并证明了其在各种深度估计任务中的有效性。 CSPN是一种简单有效的线性传播模型，其中以递归卷积运算的方式执行传播，其中，通过深度卷积神经网络（CNN）了解相邻像素之间的亲和力。与以前的现有技术（SOTA）线性传播模型（即空间传播网络（SPN））相比，CSPN实际上要快2至5倍。我们将CSPN及其变体连接到SOTA深度估算网络，从而大大提高了深度精度。具体而言，我们将CSPN应用于两个深度估计问题：深度完成和立体匹配，在这些问题中，我们设计了一些模块，这些模块在传播过程中将原始2D CSPN适配为嵌入稀疏深度样本，可进行3D卷积运算，并与空间金字塔池协同工作。在我们的实验中，我们证明了所有这些模块都有助于最终性能。对于深度完成任务，我们的方法将NYU v2和KITTI数据集中的深度误差降低了30％以上。对于立体匹配任务，我们的方法目前在KITTI Stereo 2012和2015基准测试中均排名第一。更具体地说，在本文中，我们考虑了深度完成算法的三个重要要求：（1）恢复的密集深度图应与图像结构对齐；（2）稀疏样本的深度值应保留，因为它们通常来自可靠的传感器；（3）稀疏深度样本与相邻深度样本之间的过渡应该平滑且不明显。总而言之，本文有以下贡献：1）我们提出了卷积空间传播网络（CSPN），可直接从图像中学习亲和力。在不牺牲线性传播稳定性的前提下，它比以前的SOTA传播策略更有效，更准确地进行深度估计[25]。 2）通过将提供的稀疏深度样本嵌入到传播过程中，我们将CSPN扩展到深度完成任务，这也确保了稀疏输入深度值保留在最终深度图中。3）将CPSN提升为3D CSPN，以进行立体深度估计，从而探索离散视差空间和尺度空间内的相关性。它有助于恢复的立体深度产生更多细节，并避免由阳光或阴影等引起的嘈杂外观带来的误差匹配。4）我们为空间金字塔池（SPP）提供了CSPN变形，并提出了更有效的SPP模块，从而进一步提高了深度补全和深度图生成性能。CSPN公式与偏微分方程（PDE）对应的扩散过程：卷积CSPN的公式CSPN模块a:SPP b:CSPP c:CFF d:CSPFHere, we use one independent branch for computing the transformation kernel for each layer of spatial pyramid, and concatenate them to a 3DCSPN kernel. We call this strategy as convolutional feature fusion (CFF) to simplify our description. As shown in Fig. 3(d), our final spatial pooling strategy is a combination of CSPP and CFF, which we call convolutional spatial pyramid fusion (CSPF). CSPF produces significant performance boost over the original SPP module in our tasks, especially for stereo depth estimation as demonstrated in Sec. 4.2.Deeplabv2提出了空洞空间卷积池化金字塔(atrous spatial pyramid pooling (ASPP))，以多尺度的信息得到更强健的分割结果。ASPP并行的采用多个采样率的空洞卷积层来探测，以多个比例捕捉对象以及图像上下文。In our experiments, we use the set of dilation rates proposed in ASPP [32] including 6 x 6, 12 x 12, 18 x18 and 24 x 24, and found ACSPP achieves better performance than that from CSPP. Combining it with CFF, called ACSPF, yields our best setting for competing over the benchmarks.Here, we made two changes by replacing CSPF with their spatial pooling module and appending 3DCSPN after multi-scale outputs. Here, we update the spatial pooling and 3D module with our proposed CSPF and 3DCSPN (Sec. 3.2), it is straight-forward to use CSPF and we describe the details of applying 3DCSPN in the following.因为没有看到源码，不清楚官方刷榜的模型构造到底是什么样子。参考：https://www.sohu.com/a/359912683_100007727https://zhuanlan.zhihu.com/p/58431351https://blog.csdn.net/qq_17518433/article/details/103657607https://blog.csdn.net/weixin_42954710/article/details/103078682https://www.keyanjie.net/1122-keyanjie-CSPN/code: https://github.com/XinJCheng/CSPNhttps://github.com/DeepMotionAIResearch/DenseMatchingBenchmark感觉官方的CSPN的pytorch版本是综合了别人复现的版本，完成度略低。而DeepMotionAIResearch的版本，看起来完成度高，但具体效果如何未测试，也无结论。Spatial Propagation Networks(SPN)：https://zhuanlan.zhihu.com/p/33445638https://blog.csdn.net/ChauhoChow/article/details/78792593 code: https://github.com/Liusifei/pytorch_spn AnyNet（1810.11408v2）《Anytime Stereo Image Depth Estimation on Mobile Devices》主打算法的实时性和准确性做取舍网络架构在特征提取部分，会有多尺度的特征（用于不同分辨率的输出，分辨率越低速度越快，对应any）。在最低的分辨率1/16（图中stage 1），cost volume中视差的范围是0~D/16（D为可能的最大视差值），然后用3D卷积，回归得到视差图。如允许更久的时间或更准确结果的需要，进入stage 2。分辨率1/16的视差图上采样至1/8，配合特征提取器中1/8分辨率的左右特征使用。利用视差对右图特征重建得到左图特征，重建的左图特征与左图特征形成一个调优cost volume。在正常左右特征cost volume中，视差这个维度是表示视差，现在右特征变成了重建的左特征，理论上来讲，如果重建完全正确，那么视差这个维度应该都是0是最佳的视差值。因此，对于重建特征与原特征组成的cost volume，视差的范围变成了-2~2。这样的cost volume经过3D卷积输出的是一个残差图，范围就是-2~2，也就是我们认为对stage 1粗略视差调整的范围。如果视差值正确，那么这个位置在stage 2输出的残差值就是0，如果不正确，就学习调整。模型结构效果损失函数参考：https://zhuanlan.zhihu.com/p/85827513https://www.cnblogs.com/yongjieShi/p/12525440.htmlCode: https://github.com/mileyan/AnyNet.GwcNet（2019）《Group-wise Correlation Stereo Network》In this paper, we propose to construct the cost volume by group-wise correlation. The left features and the right features are divided into groups along the channel dimension, and correlation maps are computed among each group to obtain multiple matching cost proposals, which are then packed into a cost volume. Group-wise correlation provides efficient representations for measuring feature similarities and will not lose too much information like full correlation. It also preserves better performance when reducing parameters compared with previous methods. The 3D stacked hourglass network proposed in previous works is improved to boost the performance and decrease the inference computational cost.The full correlation [19] provides an efficient way for measuring feature similarities, but it loses much information because it produces only a single-channel correlation map for each disparity level. The concatenation volume [9, 2] requires more parameters in the following aggregation network to learn the similarity measurement function from scratch. [1, 25] stills utilizes traditional matching costs and cannot be optimized end-to-end.大部分工作是基于PSM-Net，cost volume的相关计算做了一点改进，效果提升不是很明显。两张图分别经过相同权重的几个卷积层得到对应特征，再计算得到一个相关volume，最后卷积得到结果。相关的表达式：最终形成的是一个4D的volume，长宽、偏移（同一点偏移量大则光流大）、通道。也就是说不同的通道（尽管看上去应该是不同的特征）还是计算了相关。这个相关计算的表达式就是用向量内积的方式，作者在文中将这种相关计算称为“full correlation”。两个归一化的向量做内积，就可以根据结果大小判断相似度。这样的内积是单通道对单通道的，是丢失一些信息的。实际上Flow-Net形成的volume对于也考虑了不同通道的关联，所以我觉得作者在这里想表达的应该是那种（C×W×H）在对应通道做内积的方法。另外一种相关的计算文中称作“concatenation correlation”，就是GC-Net和PSM-Net都采用的方式。得到左右特征图之后，直接组合成4D的cost volume（cost volume形成过程可以参考前面的笔记），这里的组合就是很直接的形成一个参数未知的量，因此在一开始并不包含任何关于特征相似度的信息，相当于是通过从头开始的训练（from scratch）才形成了一个表示相关的量。因此，这样的方法需要很多参数，使网络的规模变得很大。所谓“Group-wise”就是对多通道的特征图沿着通道分组。比如文中实验部分提到的左右特征图是320通道的，就分为了40组，每组8个通道。组相关的计算是按照向量内积的方式，但是因为一组有多个通道，又不会丢失很多信息。所以其实这个组相关就是对上面两种用了个折衷的方式。网络架构模型结构效果参考：https://zhuanlan.zhihu.com/p/59467690https://www.jianshu.com/p/12918d7c96c7https://blog.csdn.net/tjut_zdd/article/details/88963077Code: https://github.com/xy-guo/GwcNet发布于 2020-04-26 20:15计算机视觉深度学习（Deep Learning）立体匹配赞同 5添加评论分享喜欢收藏申请转载文章被以下专栏收录SLAM中的深度学习SLAM中用到的一些深度学

CSPN中国电视体育联播平台专区-搜狐体育

搜狐首页-

新闻-

体育-

S-

娱乐-

V-

财经-

IT-

汽车-

房产-

女人-

视频-

播客-

微博-

邮件-

博客-

BBS-

我说两句-

搜狗

焦点图

更多>>

全运视频：专访马文辉

全运视频：舞后的金牌背后

・CSPN全运视频：潘强师徒讲述冠军背后的辛酸历程

・CSPN全运视频：大话全运-刘冠麟打造全运视觉盛宴

・CSPN全运视频：6天5枪两金一银背后的黄潇潇张增惠

・CSPN全运视频：举重小兵廖辉-饿出来的全运会冠军

体育传媒全新考验 CSPN扮演坚持者和开创者角色

栏目-[绿茵集结号][天下球][神州话体育][艾尚体育]

主持人-[娜地拉][李萍][胡晓雷][张鹏][王菲][郭琦]

节目精选-[球场“全武行”][走近张湘祥][锐评球坛]

Follow

im钱包官方下载|cspn

im钱包官方下载|cspn

CSPN为何走向没落？ CSPN解散了吗？ 如未解散 CSPN还有崛起的机会吗？ - 知乎

CSPN：Learning Depth with Convolutional Spatial Propagation Network阅读笔记-CSDN博客

论文阅读 SPN和CSPN_cspn论文-CSDN博客

中国电视体育联播平台_百度百科

Convolutional Spatial Propagation Network 简介与代码简析 - 知乎

首页-项目管理人员评价信息系统

论文解读 Learning Depth with Convolutional Spatial Propagation Network-CSDN博客

深度学习双目匹配（7） - 知乎

CSPN中国电视体育联播平台专区-搜狐体育

最近的新闻

您可能喜欢的文章

比特派官方网址是多少|csgo大行动

bitpie官网苹果下载|cspr是什么币

如何将TP钱包提现到欧易？

TP钱包显示获取代币列表失败：原因与解决方法

TP钱包代币提交后多久会显示？

比特币钱包取消同步：简单易懂的解决方案

数字货币短线牛人，成为数字货币交易中的佼佼

CSPN为何走向没落？ CSPN解散了吗？如未解散 CSPN还有崛起的机会吗？ - 知乎