reVISION: 将全可编程技术扩展至广泛的视觉导向机器学习应用

机器学习的应用正迅速地扩展至越来越多的终端市场，在用户端、在云端或者在那些基于端处理与基于云的数据分析相结合的混合解决方案中。面向云应用，赛灵思最近推出了可重配置加速堆栈(2016年11月推出)，目标直指包括机器学习推断在内的各种计算加速应用。 面向端应用，赛灵思现在宣布凭借Xilinx® reVISION™ 堆栈大幅扩展至广泛的视觉导向机器学习应用。 全新的reVISION堆栈能够支持更广泛的很少或没有硬件设计专业知识的嵌入式软件和系统工程师，使其也能利用赛灵思的技术更轻松、更快速地开发视觉导向的机器学习应用。

图1 赛灵思扩大机器学习应用从端到云的部署

广泛的赛灵思视觉和机器学习应用

如图2 所示， 放眼全球，赛灵思已经成为众多企业构建先进嵌入式视觉系统的最佳选择。 截至今天，全球已经有23 家汽车制造商在 85 款不同车型的 ADAS 系统中部署了赛灵思先进的嵌入式视觉系统，另外还有数百家嵌入式视觉客户在其他数千种应用中也部署了赛灵思的先进嵌入式视觉系统。其中至少有40家已经在开发或部署机器学习技术以大幅提高系统的智能。现在，大多数的赛灵思视觉客户包括具有很强硬件专长的工程师们，都看准了 Zynq® All Programmable SoC 和 MPSoC 的应用。

图 2 赛灵思嵌入式视觉行业成就

reVISION 的目标应用和使命

赛灵思正在为一些热门市场的应用提供支持。在这些市场中，差异化至关重要，系统必须响应迅速，最新算法和传感器必须能够被快速部署。这些应用包括“专业消费类”应用、汽车、工业、医疗、航空航天、军用以及高端前沿消费者应用。这些应用通常不包括部署在差异化较低的“够用就好”或者发展成熟的技术之上的非常大批量的消费类应用或者主流商品化应用在。

如图 3 所示，众多的传统嵌入式视觉应用通过采用机器视觉和传感器融合技术后都在发生巨变。

图3 从嵌入式视觉到视觉导向的自主系统

下一代应用包括协作机器人、具有感应和躲避功能的无人机、增强现实、自动驾驶汽车、自动化监视和医疗诊断等。这些系统通常具有三大使命：

1. 系统不仅要会思考，而且还能对情境立即做出“响应”。这就要求一个从感应到处理、分析、决策、通信和控制整个流程中更一致的视图。同时还要高效实施、部署最新机器学习技术，满足8位及更深层面的精确性要求。注意，针对机器学习训练优化的技术继续偏离对机器学习推断优化的技术。 赛灵思已经专门为推断技术优化了其全可编程器件系列。

2. 图4 下一代视觉导向系统的应用使命

鉴于神经网络和相关算法的快速变化以及传感器的快速发展，必须实现灵活性，能通过软硬件的可重配置性升级系统。

3. 由于许多新系统都连接到了一起(物联网)，因此需要既能与传统的已有设备通信，也能与未来推出的新设备通信，同时还要能够进行云端通信。赛灵思将此定义为任意互联。

赛灵思器件可以独特地支持以上所有三大使命， 且比其它替代方案拥有显著的和可测量的优势。 通过高效的推断和控制，赛灵思实现了传感器的最快响应时间，支持最新的神经网络，算法和传感器的可重构性，并支持与传统或新机器、网络和云的任意连接。

图5 赛灵思独特的应用优势

图6 广泛应用的障碍

然而，赛灵思器件的这些优势原来只有那些拥有硬件或者RTL 设计专长的专业用户才能受益，对于更广泛的应用和支持使用行业标准库和框架进行软件定义编程，还存在巨大的障碍。 reVISION堆栈的诞生， 解决了这个通往广泛应用的障碍。

reVISION STACK

图7 赛灵思reVISION 堆栈

赛灵思 reVISION 堆栈包括用于平台、算法和应用开发的丰富的开发资源，支持最流行的神经网络(诸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN)以及库元素(如 CNN 网络层的预定义优化型实现方案，这也是构建定制神经网络 DNN/CNN 所需的)。配合丰富的满足加速要求的 OpenCV 功能，支持机器视觉处理。对应用层面的开发来说，赛灵思支持流行的框架，包括用于机器学习的 Caffe 和用于计算机视觉的 OpenVX(将于 2017 年下半年推出)。reVISION 堆栈还包括赛灵思和第三方提供的基于 Zynq SoC 和 MPSoC 的开发平台。

移除了通往广泛应用的障碍

reVISION 堆栈支持一大批广泛的设计团队无需深层的硬件专业技术，使用软件定义开发流程就能将机器学习和计算机算法的高效实现方案整合到响应迅速的系统中。

如图 8 所示，reVISION 开发流程从 熟悉的C、C++ 和/或 OpenCL 语言及相关编译器技术的基于 eclipse 的开发环境(即 SDSoC 开发环境)启动。在 SDSoC 环境中，软件工程师和系统工程师能以 reVISION 硬件平台为目标，并采用大量的加速就绪型计算机视觉库，很快还能采用OpenVX框架，从而快速构建应用。

图8 reVISION 的软件定义设计流程

对于机器学习，我们可用 Caffe 等流行的框架来培训神经网络，用 Caffe 生成的 .prototxt 文件对基于 ARM 的软件调度器进行配置，从而驱动专门为可编程逻辑预先优化的CNN 推断加速器。

对计算机视觉和其他专有算法来说，用户可对软件代码进行特征分析，发现瓶颈，并在代码中标出希望加速并进行“硬件优化”的特定功能。“系统优化编译器”则用来创建加速的实现方案，包括处理器/加速器接口(数据移动器)和软件驱动器。结合计算机视觉和机器学习功能，该编译器能创建优化的融合实现方案。

如图 9 左侧所示，专家级赛灵思用户采用传统 RTL 设计流程，与 ARM 软件开发人员合作，要花大量设计时间才能开发出高度差异化的机器学习和计算机视觉应用。

图9 reVISION 堆栈 —— 移除通往广泛应用的障碍

为进一步加快设计进程，减少对硬件专家的依赖，赛灵思大约在两年前推出了基于 C、C++ 和 OpenCL 语言的 SDSoC 开发环境。虽然这帮助其它上千名能够开发自己的基础平台、库和应用的用户大幅缩短了开发周期，但仍无法满足广泛机器学习应用推广与部署的要求，而且机器学习也带来了复杂问题。

　如图 10 所示，赛灵思的全新 reVISION 堆栈使更多软件工程师和系统工程师无需掌握或只需掌握一点硬件设计专业技术，就能够更轻松快速地开发出智能嵌入式视觉系统，包括将机器学习和计算机视觉算法的超高效实现方案整合到高响应性系统中。

图10：赛灵思reVISION和Nvidia Tegra X1对比

最快响应性 —— 从传感器到推断和控制的最低时延

如上所述，软件定义的 reVISION 流程支持快速开发响应最快的系统。事实上，相比嵌入式 CPU 和典型 SoC 的性能参数，赛灵思的表现大大超越了英伟达 ( Nvidia) 这一强手。

将基于 Zynq SoC 的 reVISION流程与 Nvidia Tegra X1 进行基准对比可以看出，reVISION 流程讲机器学习的单位功耗图像捕获速度提升了6 倍，将计算机视觉处理的帧速率提升了 42 倍，而时延仅为 1/5(以毫秒为单位)，这些数据对实时应用而言都是至关重要的。

如图 11 所示，拥有速度极快的确定性系统响应时间非常有用。我们从这个例子看到，一辆汽车采用赛灵思基于 Zynq SoC 的reVISION 与采用 Nvidia Tegra 的汽车一起识别潜在的碰撞事故并采取刹车，在速度为 65 mph 情况下，根据 Nvidia器件的具体实现方案，赛灵思的响应时间可以让汽车在5到33英尺的距离停下，从而轻松实现安全刹车，避免碰撞。

图11：响应时间为什么重要：赛灵思和Nvidia Tegra X1的对比

响应时间的的这些显著优点来源于Zynq SoC相对于嵌入式GPU和典型SoC的基本架构优势。 如图12所示，嵌入式GPU和典型SoC需要从传感器到视觉、机器学习和控制处理频繁访问外部存储器。 相比之下，Zynq SoC部署了使用可编程逻辑和显著多得多的内部存储器(高达Nvidia Tegra X1的19倍)实现的优化和流线型数据流。 这不仅实现了相对替代方案1/5的延迟，而且还实现了对于许多实时应用至关重要的确定性的响应能力。

图12：赛灵思响应时间优势的来源

面向最新网络和传感器的可重配置性

响应时间很重要，而赛灵思解决方案还提供了非常独特的可重配置性优势。为了能够用尖端神经网络和机器学习推断效率部署最佳系统，工程师必须能够在整个产品的产品生命周期同时优化软硬件。如图 13 所示，机器学习领域最后两年的发展所带来的科技进步超越了过去 45 年的水平。许多新的神经网络随着新技术的出现不断发展，也大幅提高了的部署效率。不管今天制定什么标准，未来部署什么，都需要通过硬件可重配置性确保满足未来需求。只有赛灵思全可编程(All programmable)的器件才能提供这种级别的可重配置性。

图13：随着机器学习技术的发展，为什么可重配置性非常重要?

如图14所示，对快速演进传感器技术的管理同样需要可重配置性。人工智能(AI)革命加速了传感器技术在不同领域的发展演进，也要求更高水平的传感器融合，以整合不同类型的传感器，以便在该环境了构建全面而完整的系统环境和对象视图。与机器学习类似，不管制定什么传感器配置标准、未来如何实现，都需要通过硬件可重配置性来满足未来需求。同样，只有赛灵思 All programmable 器件才能提供这种级别的可重配置性。

图14：为什么随着传感器的发展，可重配置性非常重要?

任意连接和传感器接口

如图 15 所示，基于 Zynq 的视觉平台提供了稳健可靠的任意连接能力和传感器接口优势。

Zynq 的传感器和连接性优势包括：

1. 相对于目前市场中其它 SoC而言，带宽提升高达 12 倍，包括支持原生的 8K 和定制分辨率。

2. 大幅增加了高低带宽传感器接口和通道，支持差异化传感器组合，包括RADAR、LiDAR、加速计和力扭矩传感器。

3. 业界领先的最新数据传输和存储接口支持，为满足未来标准要求可方便地进行重新配置。

图 15: 传感器 &连接器 ：Xilinx 与 Nvidia 和 典型SoC对比

赛灵思与业界其它解决方案对比

通过将 Zynq 平台的独特优势和配备了各种库和业界标准框架支持的软件定义开发环境融为一体，reVISION为视觉系统开发提供了最佳替代方案。如前所述，reVISION 的独特之处在于能实现智能应用的三大使命，以最新技术满足差异化和上市进程的重要要求，同时支持最快响应性、可重配置性、任意连接和软件定义编程。它同时还利用软件定义的编程模式移除了通往广泛应用的障碍。

如图 16 所示，在纵轴上只有 reVISION 能支持从传感器到机器学习推断和互联控制的优化，实现最佳系统响应时间。在横轴上，只有reVISION能为硬件优化的算法加速提供所需的可重配置性，并能升级更新到最新的传感器和连接性需求。虽然许多赛灵思器件客户的硬件专家已经能够实现这些优势，但是全新的reVISION堆栈通过使用行业标准库和框架实现软件定义的编程，消除了向更广泛应用的障碍。

图1Figure 16: Xilinx – Most Responsive and Reconfigurable Alternative in Target Markets

图16：赛灵思 —— 面向目标市场反应最快且可重配置的最佳选择

总结： reVISION

通过Xilinx reVISION™ 堆栈的推出， 赛灵思将技术扩展至广泛的视觉导向机器学习应用领域。reVISION™ 堆栈的推出进一步补充和完善了近期发布的可重配置加速堆栈，大幅扩展了赛灵思技术在机器学习应用领域从端到云的部署。全新的reVISION堆栈能够支持更广泛的很少甚至没有硬件专业知识的软件和系统工程师，使其可以更轻松、更快速地开发视觉导向的智能系统。一旦将机器学习、计算机视觉、传感器融合和连接的优势融为一体，这些工程师将从中大受裨益。

关于Xilinx(赛灵思)公司

Xilinx是全球领先的可编程逻辑完整解决方案的供应商。Xilinx研发、制造并销售范围广泛的高级集成电路、软件设计工具以及作为预定义系统级功能的IP（Intellectual Property）核。

Xilinx(赛灵思)是全球领先的可编程逻辑完整解决方案的供应商。Xilinx研发、制造并销售范围广泛的高级集成电路、软件设计工具以及作为预定义系统级功能的IP（Intellectual Property）核。客户使用Xilinx及其合作伙伴的自动化软件工具和IP核对器件进行编程，从而完成特定的逻辑操作。Xilinx公司成立于 1984年，Xilinx首创了现场可编程逻辑阵列（FPGA）这一创新性的技术，并于1985年首次推出商业化产品。眼下Xilinx满足了全世界对 FPGA产品一半以上的需求。Xilinx产品线还包括复杂可编程逻辑器件（CPLD）。在某些控制应用方面CPLD通常比FPGA速度快，但其提供的逻辑资源较少。Xilinx可编程逻辑解决方案缩短了电子设备制造商开发产品的时间并加快了产品面市的速度，从而减小了制造商的风险。与采用传统方法如固定逻辑门阵列相比，利用Xilinx可编程器件，客户可以更快地设计和验证他们的电路。而且，由于Xilinx器件是只需要进行编程的标准部件，客户不需要象采用固定逻辑芯片时那样等待样品或者付出巨额成本。Xilinx产品已经被广泛应用于从无线电话基站到DVD播放机的数字电子应用技术中。传统的半导体公司只有几百个客户，而Xilinx在全世界有7，500多家客户及50，000多个设计开端。其客户包括Alcatel，Cisco Systems，EMC，Ericsson，Fujitsu，Hewlett-Packard，IBM，Lucent Technologies，Motorola，NEC，Nokia，Nortel，Samsung，Siemens，Sony，Oracle以及Toshiba。

总部设在加利福尼亚圣何塞市（San Jose）的Xilinx公司是NASDAQ上市公司，代码为XLNX。Xilinx公司在全世界约有2，600名员工，其中约一半是软件开发工程师。尽管经济发展迟缓，科技界发展疲软，Xilinx 2003财政年度公司财政收入稳定。Xilinx 目前被广泛认为是半导体行业中管理最佳，财务状况良好的高科技企业。在财富杂志（Fortune Magazine）2003年“100家最适合工作的企业”排名中，Xilinx 名列前列，并被广泛认为是半导体行业中管理最佳，财务状况良好的高科技企业。旧金山编年史（San Francisco Chronicle）也把Xilinx 选为矽谷最适合工作的五十家公司之一。Xilinx 在Business Week S&P500表现最佳的50家公司中名列前列，并被福布斯杂志（Forbes）评为400个最佳的大公司之一。Xilinx 两家客户Cisco及Lucent，选出 Xilinx 是他们公司年度供应商。

Xilinx(赛灵思)主流芯片选型

主流PLD产品

* XC9500 Flash工艺PLD,常见型号有XC9536，XC9572，XC95144等。型号后两位表示宏单元数量。

* CoolRunner-II： 1.8v低功耗PLD产品

FPGA芯片的组成

1)可编程输入输出单元；

2)基本可编程逻辑单元；

3)完整的时钟管理；

4)嵌入块式RAM；

5)丰富的布线资源；

6)内嵌的底层功能单元和专用硬件模块；

CLB是FPGA内的基本逻辑单元。CLB的实际数量和特性会依器件的不同而不同，但是每个CLB都包含：一个可配置开关矩阵，此矩阵由4或6个输入、一些选型电路（多路复用器等）和触发器组成。开关矩阵是高度灵活的，可以对其进行配置以便处理组合逻辑、移位寄存器或RAM。在Xilinx公司的FPGA器件中，CLB由多个（一般为4个或2个）相同的Slice和附加逻辑构成。

每个CLB模块不仅可以用于实现组合逻辑、时序逻辑，还可以配置为分布式RAM和分布式ROM。

-FPGA内部结构（专用BRAM）

· 输入通道：

两个DDR寄存器

· 输入通道：

两个DDR寄存器

· 输出通道：

· 两个DDR寄存器

· 两个三态使能

DDR复用器

· 独立的时钟和时钟使能，

用于I和O

· 共享置位和复位信号

主流FPGA产品

Xilinx的主流FPGA分为两大类，一种侧重低成本应用，容量中等，性能可以满足一般的逻辑设计要求，如Spartan系列；还有一种侧重于高性能应用，容量大，性能能满足各类高端应用，如Virtex系列，用户可以根据自己实际应用要求进行选择。 在性能可以满足的情况下，优先选择低成本器件。

Spartan系列当前主流的芯片包括:

Spartan-2，Spartan-2E，Spartan-3， Spartan-3A，

Spartan-3E，Spartan-6等种类。

1）Spartan-2最高可达20万系统门；

2）Spartan-2E最高可达60万系统门；

3）Spartan-3最高可达500万门；

4）Spartan-3A和Spartan-3E不仅系统门数更大，还增强了大量的内嵌专用乘法器和专用块RAM资源，具备实现复杂数字信号处理和片上可编程系统的能力。

5）Spartan-6系列的FPGA是Xilinx公司于2009年推出的新一代的FPGA芯片，该系列的芯片功耗低，容量大

* Spartan-3/3L: 新一代FPGA产品，结构与VirtexII类似，全球第一款90nm工艺FPGA，1.2v内核，于2003年开始陆续推出。

简评：成本低廉，总体性能指标不是很优秀，适合低成本应用场合，是Xilinx未来几年在低端FPGA市场上的主要产品，时下市场上中低容量型号很容易购买到，大容量相对少一些。

* Spartan-3E：基于Spartan-3/3L，对性能和成本进一步优化

* Spartan-6：xilinx最新推出的低成本FPGA

眼下刚刚推出，很多型号还没有大批量生产。

Virtex系列是Xilinx的高端产品，也是业界的顶级产品，Xilinx公司正是凭借Vitex系列产品赢得市场，从而获得FPGA供应商领头羊的地位。可以说Xilinx以其Virtex-6 、Virtex-5、Virtex-4、Virtex-II Pro和Virtex-II系列FPGA产品引领现场可编程门阵列行业。

Virtex-4系列的FPGA采用了高级硅模组(Advanced

Silicon Modular Block,ASMBL)架构。ASMBL通过使用独

特的基于列的结构，实现了支持多专门领域应用平台的概

念。每列代表一个具有专门功能的硅子系统，如逻辑资源、存储器、I/O、DSP、处理、硬IP和混

合信号等。Xilinx公司通过组合不同功能列，组装成面向特定应用类别的专门领域FPGA（与专用不同，专用是指一项单一应用）。

4、Virtex-5、Virtex-6等种类。

* Virtex-II:2002年推出，0.15um工艺，1.5v内核，大规模高端FPGA产品

* Virtex-II pro: 基于VirtexII的结构，内部集成CPU和高速接口的FPGA产品

* Virtex-4: xilinx最新一代高端FPGA产品，采用90nm工艺制造，包含三个子系列：面向逻辑密集的设计：Virtex-4 LX，面向高性能信号处理应用：Virtex-4 SX，面向高速串行连接和嵌入式处理应用：Virtex-4 FX。

简评：各项指标比上一代VirtexII均有很大提高，获得2005年EDN杂志最佳产品称号，从2005年年底开始批量生产，将逐步取代VirtexII，VirtexII-Pro,是未来几年Xilinx在高端FPGA市场中的最重要的产品，

* Virtex-5：65nm工艺的产品

* Virtex-6：最新的高性能FPGA产品，45nm

* Virtex-7：2011年推出的超高端FPGA产品。

最新进展

继Xilinx正式向外界发布其推出全球首颗28nm制程的Kintex-7后，不久前该公司又首次向外界详细披露了7系列四款芯片Artix-7、Kintex-7、Virtex-7和Zynq的有关细节,以及围绕7系列的开发资源。

所有 7 系列 FPGA 均采用统一架构，工艺均为28nm，使客户在功能方面收放自如，既能降低成本和功耗，也能提高性能和容量，从而降低低成本和高性能系列产品的开发部署投资。该架构建立在大获成功的 Virtex-6 系列架构基础之上，旨在简化当前 Virtex-6 和Spartan-6 FPGA 设计方案的重用。此外，该架构还得到业经验证经的 EasyPath? FPGA成本降低解决方案的支持，可确保将成本降低 35%，且无需增量转换或工程投资，从而进一步提高了生产率。

SAIC公司Cloudshield Technologies 负责系统架构的首席技术官 Andy Norton 指出：“赛灵思通过整合 6-LUT 架构并与ARM合作开展 AMBA 规范工作，使这些产品支持 IP 重用、可移植性和可预见性。一个统一的架构，一个新的一改固有思维模式的以处理器为中心的器件，加上一个采用新一代工具的分层设计流程，不仅可大幅提高生产率、灵活性和片上系统性能，同时还将简化前代架构的移植工作。由于先进的工艺技术让功耗和性能都得到了极大地进步，并在部分芯片中加入了A8处理器硬核，可以构建能更为强大的SOC。