面向边缘的Intel® DevCloud — 概述

DevCloud 概述

Intel® DevCloud for the Edge 支持您在英特尔硬件上主动构建原型并试验面向计算机视觉的 AI 工作负载。我们的硬件平台托管在云环境中，专门用于深度学习，您可以全面访问这些平台。您可以使用Intel® Distribution of OpenVINO™ Toolkit以及 CPU、GPU 和 VPU（如Intel® 神经计算棒 2 (NCS2) 和Intel® Arria® 10 等 FPGA）的组合来测试模型的性能。DevCloud 包含了丰富的 Jupyter* Notebook 教程和示例，可帮助您快速入门。它们包括Intel® OpenVINO™ 工具套件中经过训练的模型、样本数据和可执行代码，以及其他深度学习工具。这些 Notebook 可帮助您快速了解如何实施深度学习应用以支持高性能解决方案。我们的 AI 硬件可以等待您完成边缘推理工作原型的构建。

您不需要设置任何硬件。DevCloud 使用 Jupyter* Notebook 直接在 Web 浏览器中执行代码。Jupyter*是基于浏览器的开发环境，支持您运行代码并立即可视化运行结果。您可以在我们的云环境中构建创新的计算机视觉解决方案原型，然后利用可用的硬件资源执行代码。

Intel® DevCloud 包括：

• 开发节点，您可与之交互，开发代码和提交计算工作。
• 边缘节点，包含供您运行和测试边缘工作负载的推理设备。
• 存储服务器，它提供网络共享文件系统，支持通过云环境中的任意一台机器，以相同的路径访问您的所有数据。
• 队列服务器，您可与之交互，将计算工作提交至边缘节点。
• UI 软件，支持您通过 Web 浏览器访问Intel® DevCloud 资源。

How It Works Video

可用硬件

我们在 DevCloud 中托管了边缘计算平台和设备，可供您构建和测试原型。将工作提交至硬件平台，包括特定的目标架构或 CPU、GPU、VPU、FPGA 架构组合，然后查看实时性能结果。我们的教程和示例为您提供了所需的代码，可帮助您在加速的硬件上开发应用型计算视觉用例。投资硬件解决方案之前，您可以创建自己的 Jupyter* Notebook 并测试结果。

代码准备好后，您可以在开发服务器的 CPU 上运行代码，或者将代码发送至Intel® DevCloud 中的一个或多个边缘计算硬件集群，以加速推理。通过这些试验，您可以完全了解所需的知识，避免潜在的陷阱、优化性能、确认需要采购的硬件，以及加快产品上市速度。

Intel® DevCloud中的边缘计算节点配备 CPU，后者通常采用集成核芯图形处理器。此外，部分节点通过 PCIe 或 USB 总线连接了计算加速器。我们将 CPU、图形处理器和加速器统称为“计算设备”。在Intel® Distribution of OpenVINO™ Toolkit的帮助下，所有这些都可以用于机器学习推理。

如果在 DevCloud 中研究边缘计算解决方案的性能，您可以通过 (i) 请求采用该加速器的节点 并 (ii) 使用与该计算设备对应的 OpenVINO IEPlugin，确定特定的计算设备。不过需要注意的是，针对特定计算设备的应用在不同边缘节点群中性能略有不同。这是因为在异构系统（CPU + 加速器）中，推理应用的性能同时取决于 CPU 和加速器。

设备列表

Device	Type	Queue Label	OpenVINO device	FP model
Intel® Core™ i5 6442EQ	CPU	i5-6442eq	CPU	FP32
Intel® Core™ i5 6500TE	CPU	i5-6500te	CPU	FP32
Intel® Core™ i5 7500T	CPU	i5-7500t	CPU	FP32
Intel® Core™ i5 7500	CPU	i5-7500	CPU	FP32
Intel® Core™ i5 8365UE	CPU	i5-8365ue	CPU	FP32
Intel® Core™ i7 8665UE	CPU	i7-8665ue	CPU	FP32
Intel® Xeon® E3 1268L v5	CPU	e3-1268l-v5	CPU	FP32
Intel® Xeon® Gold 5120	CPU	gold-5120	CPU	FP32
Intel® Xeon® Bronze 3206R	CPU	bronze-3206r	CPU	FP32INT8
Intel® Xeon® Silver 4214R	CPU	silver-4214r	CPU	FP32INT8
Intel® Xeon® Gold 5220R	CPU	gold-5220r	CPU	FP32INT8
Intel® Xeon® Gold 6258R	CPU	gold-6258r	CPU	FP32INT8
Intel® Atom® x5-E3940	CPU	e3940	CPU	FP32
Intel® Atom® x7-E3950	CPU	e3950	CPU	FP32
Intel® HD Graphics 500	GPU	intel-hd-500	GPU	FP32
Intel® HD Graphics 505	GPU	intel-hd-505	GPU	FP32
Intel® HD Graphics 530	GPU	intel-hd-530	GPU	FP32
Intel® HD Graphics P530	GPU	intel-hd-p530	GPU	FP32
Intel® UHD Graphics 620	GPU	intel-uhd-620	GPU	FP32
Intel® HD Graphics 630	GPU	intel-hd-630	GPU	FP32
Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x1	VPU	intel-ncs2	MYRIAD	FP16
Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x2	VPU	myriadx-ma2485-vpu	HDDLR	FP16FP32
Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x8	VPU	iei-mustang-v100-mx8	HDDLR	FP16FP32
Intel® Arria® 10 FPGA	FPGA	iei-mustang-f100-a10	HDDL	FP11FP16FP32

如何请求

如果要请求特定计算设备的边缘计算节点，可以提交工作，请求具备“Queue Label”栏所列属性的节点。例如：

qsub -l nodes=1:i5-6500te myscript.sh

该命令无法保证边缘计算节点的类型，只能保证（本示例中）该系统采用英特尔酷睿 i5 6500TE CPU。如果希望分配给工作的系统类型更加具体，可以 按照此处的说明，请求与所需边缘节点群对应的属性。

如何使用

如果要在基于 OpenVINO 开发的应用上使用计算设备，可以使用"OpenVINO Device"栏所列的设备参数初始化 IEPlugin 对象。例如，用 Python 语言编写、用于初始化插件的命令行如下所示：

from openvino.inference_engine import IEPlugin
plugin = IEPlugin(device="CPU")

浮点模型

" FP model "栏列出了适用于每台设备的浮点模型。运行模型优化器时，所使用的参数 --data-type 应设为适用于所选设备的浮点模型，如：

/opt/intel/openvino/deployment_tools/model_optimizer/mo.py --input_model ... --data_type FP32

关于边缘计算

边缘计算指靠近或嵌入至智能终端设备的计算资源。许多 AI 解决方案都可以利用边缘计算降低延迟、提高可用性，以及管理数据隐私。这些解决方案包括自动驾驶、零售分析、安全性和工业自动化。了解关于 英特尔边缘解决方案的更多信息。