最近FPGA这个市场好不热闹，国内FPGA第一股安路科技登陆科创板，瑞萨宣布进军FPGA。老大赛灵思和老二Altera已经相继被收购，老三Lattice近年来凭借低功耗在FPGA市场闯出一番天地。过去四年来，Lattice的出货量已达10亿颗，俨然成为了全球出货量最大的FPGA厂商。
FPGA已经存在了几十年，发展到现在，将FPGA用于AI是一大趋势。FPGA在加速 AI 相关工作负载（尤其是推理）方面显示出巨大潜力。使用 FPGA 加速机器学习和深度学习过程的主要优势是它们的灵活性、自定义并行性以及为多种目的重新编程的能力。现在Lattice嗅到了边缘计算AI推理的商机。
为什么选择FPGA实现网络边缘AI？
目前，网络边缘的计算正在快速兴起。有很多新的应用都在边缘端发展出新的应用和使用场景。据ABI的研究调查表明，预计到2024年设备端的AI推理功能将覆盖近60%的设备。Lattice看到了这其中的机会，正在将FPGA运用到边缘计算AI推理中。
那为什么要选择FPGA来实现网络边缘的AI呢？要知道，AI的算法灵活多变，技术每天都在推陈出新。FPGA相对来说是更适合网络边缘来实现AI计算的技术。因为FPGA硬件可编程的最大特点也可以适应快速变化的机器学习算法。凭借本身的特点，可以做灵活的计算资源，包括预处理、后处理、图像处理和滤波等数据。还能进行性能扩展，可并行和串行执行多个案例。
再来很重要的一点是，由于边缘端对功耗的敏感度和尺寸的大小是有比较严格的要求，而小封装和低功耗恰好是Lattice FPGA的特点。Lattice的FPGA可以在网络边缘AI实现一毫瓦到低于一瓦的超低功耗。同时，Lattice FPGA内嵌了很多安全功能区域，具有很高的安全性。
反过来，AI技术的快速创新对可编程逻辑器件FPGA来说是有利的，FPGA可以配合AI技术随时为用户提供最佳体验。据Lattice亚太区资深市场开拓经理林国松的深一步解释，近十年来AI模型快速发展，从下图中可以看到从2012年到2021年AI分类模型创新的数量在逐年递增。由于AI技术的不断创新，导致不断有新的实现方式产生。而新的实现方式的产生需要有更快的硬件来实现，这就需要硬件和算法上的优化。
对此，深谙边缘计算需求的Lattice，此次更新了其低功耗、AI/ML解决方案的最新路线图。
发布SenseAI 4.1，AI与传感器的融合
现在客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。于是Lattice将其sensAITM与Nexus™这两个解决方案集合在一起，发布了sensAI解决方案集合的最新版本4.1，来帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备。它支持莱迪思基于AI的应用路线图。
本次新推出的sensAI 4.1会增加支持的器件是Lattice今年刚刚推出的Nexus系列产品CetusPro-NX器件。并对这个器件进行了优化，提升了CetusPro-NX的容量，同时计算的能力和功效也会提高，在这块器件基础上，Lattice推出了相对应的开发版，他们称之为声音和视觉机器学习版。也提供了支持这块新芯片的CNN Plus加速器，以及相对应的sensAI Studio（后文有详细介绍）。
sensAI 4.1将会提供三个参考设计，包括人员侦测、注意力追踪和目标分类。同时，在智能家居、智慧城市、工厂、智能汽车这些方面Lattice也都可以提供相对应的设计服务。Lattice一直使用的训练设计的方法是通过标准的Caffe、TensorFlow、TensorFlowLite、Keras等常用培训网络培训完之后，再交由Lattice提供的神经网络编译器，编译成相对应的可执行指令，这些指令最终会由Lattice的芯片调取使用。
林国松也介绍了Lattice在软硬件方面所进行的优化方法。在硬件优化上，主要是两方面的结合，一个是把SenseAI组件通过FPGA的设计工具，将Lattice Radiant和DIAMOND结合之后，产生FPGA比特流。另一个是，把训练后的模型录进神经网络编译器，这样产生一个类似于中央处理器的功能，而后产生的量化的权重和指令更多指向于执行的代码，这两个结合之后，最终产生机器学习的框架。
在软件设计层面，为了便于大家开发设计，Lattice专门提供了一个PROPEL的软件，它能对整个内部结果进行类似于C代码的控制，而不是使用比较难以上手的FPGA的开发代码，便于初学者能够调用一些基本的指令进行一些控制。具体设计参看下图，下图中左侧更多指的是Lattice的开发AI引擎的一些架构，包括机器学习引擎，以此能够做视觉的收取，同时做软核的控制。
Lattice还推出了一款易于使用的工具sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。林国松解释道，之所以推出这个Studio是因为我们收到了很多关于配置机器学习培训环境的反馈，用户在这方面会遇到一些难题，主要是由于这些培训环境的应用场景，应用软件更新的非常快，有可能几天就会有一次更新，所以软件和软件之间的兼容性就很难解决。为了解决这样的问题，Lattice特别推出了Lattice sensAI Studio。
在具体的应用中，SenseAI 4.1可以以低功耗追踪多个目标，例如其最新推出的CrossLink-NX，在分辨率为224×224×3色RGB的情况下，其速度可以达到33fps，可以进行目标分类和追踪多个目标，例如在条形码检测、瑕疵检测及机器人导航。值得一提的是，CrossLink-NX这个器件本身是作为低功耗的器件，是Lattice花了很大的力气，专为网络边缘应用打造的。
SenseAI助力下一代PC体验
现在PC已经成为大家工作和生活中接触时间最长的电子工具之一。根据smartinsights的调查，用户习惯于在白天的时候使用手提电脑，而晚上更多是使用台式电脑。而Lattice也观察到，下一代PC的趋势将集中在智能和感知，强大的协作能力和轻薄的外形三个方面。
Lattice sensAI的智能和感知AI解决方案提供了用户检测、注意力追踪、旁观者检测及面部取景功能。具体来看，现在多数的电脑都是以鼠标是否移动来判定用户是否在使用电脑的，如果鼠标长期未移动，电脑就会息屏。Lattice更高端的用户检测，通过注意力追踪可以延长28%的电池寿命，具体表现为在人接近电脑时自动开启，并持续追踪注意力，在离开时自动锁屏；旁观者检测可以保护用户隐私数据，而面部取景也是很多协作式会议所需的场景。
可能很多人会担心用户隐私的问题，这点林国松也做出了解释，sensAI是符合道德和合理的AI设计考量。使用Lattice sensAI可以不把图像传给电脑，直接在硬件上处理。也就是通过Lattice sensAI只会传出一个结果，而不会传输图像，这样的话用户的肖像权就不会受到侵害。同时Lattice sensAI也专注于用户体验，针对不同的复杂场景进行压力测试，包括灯光，场景及用户面部和头部穿戴的变化。
为了能够让Lattice这款产品能够在PC上得到落实，Lattice需要和OEM、芯片厂商、操作系统和软件的支持，还需要传感器的合作。在传感器方面，Lattice本身就与很多传感器厂商有很好的合作，可以保证传感器输出的信息能够和不同的AP的处理器进行很好的互联。
写在最后
在FPGA这个市场上，Lattice一直稳扎稳打，而且这几年的攻势愈发迅猛。可以看到，近几年Lattice推出新器件的步伐明显增快，差不多每年都会推出一款新器件，包括CrossLink-NX，Certus-NX这两款都是去年推出的，Mach-NX、CertusPro-NX都是今年推的，明年上半年还会有新产品发布，同时后续的一系列产品都已经在细化中。
