注册 登陆

面向边缘的Intel® DevCloud — 概述

DevCloud 概述

Intel® DevCloud for the Edge 支持您在英特尔硬件上主动构建原型并试验面向计算机视觉的 AI 工作负载。我们的硬件平台托管在云环境中,专门用于深度学习,您可以全面访问这些平台。您可以使用Intel® Distribution of OpenVINO™ Toolkit以及 CPU、GPU 和 VPU(如Intel® 神经计算棒 2 (NCS2) 和Intel® Arria® 10 等 FPGA)的组合来测试模型的性能。DevCloud 包含了丰富的 Jupyter* Notebook 教程和示例,可帮助您快速入门。它们包括Intel® OpenVINO™ 工具套件中经过训练的模型、样本数据和可执行代码,以及其他深度学习工具。这些 Notebook 可帮助您快速了解如何实施深度学习应用以支持高性能解决方案。我们的 AI 硬件可以等待您完成边缘推理工作原型的构建。

您不需要设置任何硬件。DevCloud 使用 Jupyter* Notebook 直接在 Web 浏览器中执行代码。Jupyter*是基于浏览器的开发环境,支持您运行代码并立即可视化运行结果。您可以在我们的云环境中构建创新的计算机视觉解决方案原型,然后利用可用的硬件资源执行代码。

Intel® DevCloud 包括:

  • 开发节点,您可与之交互,开发代码和提交计算工作。
  • 边缘节点,包含供您运行和测试边缘工作负载的推理设备。
  • 存储服务器,它提供网络共享文件系统,支持通过云环境中的任意一台机器,以相同的路径访问您的所有数据。
  • 队列服务器,您可与之交互,将计算工作提交至边缘节点。
  • UI 软件,支持您通过 Web 浏览器访问Intel® DevCloud 资源。
how it works diagram

How It Works Video

 

该视频概述了DevCloud和OpenVINO工具如何帮助计算机视觉应用程序开发人员充分利用其应用程序,并为每个任务选择理想的硬件。

可用硬件

我们在 DevCloud 中托管了边缘计算平台和设备,可供您构建和测试原型。将工作提交至硬件平台,包括特定的目标架构或 CPU、GPU、VPU、FPGA 架构组合,然后查看实时性能结果。我们的教程和示例为您提供了所需的代码,可帮助您在加速的硬件上开发应用型计算视觉用例。投资硬件解决方案之前,您可以创建自己的 Jupyter* Notebook 并测试结果。

代码准备好后,您可以在开发服务器的 CPU 上运行代码,或者将代码发送至Intel® DevCloud 中的一个或多个边缘计算硬件集群,以加速推理。通过这些试验,您可以完全了解所需的知识,避免潜在的陷阱、优化性能、确认需要采购的硬件,以及加快产品上市速度。

Intel® DevCloud中的边缘计算节点配备 CPU,后者通常采用集成核芯图形处理器。此外,部分节点通过 PCIe 或 USB 总线连接了计算加速器。我们将 CPU、图形处理器和加速器统称为“计算设备”。在Intel® Distribution of OpenVINO™ Toolkit的帮助下,所有这些都可以用于机器学习推理。

如果在 DevCloud 中研究边缘计算解决方案的性能,您可以通过 (i) 请求采用该加速器的节点 并 (ii) 使用与该计算设备对应的 OpenVINO IEPlugin,确定特定的计算设备。不过需要注意的是,针对特定计算设备的应用在不同边缘节点群中性能略有不同。这是因为在异构系统(CPU + 加速器)中,推理应用的性能同时取决于 CPU 和加速器。

设备列表

DeviceTypeQueue LabelOpenVINO deviceFP model
Intel® Core™ i5 6442EQ CPU i5-6442eq CPU FP32
Intel® Core™ i5 6500TE CPU i5-6500te CPU FP32
Intel® Core™ i5 7500T CPU i5-7500t CPU FP32
Intel® Core™ i5 7500 CPU i5-7500 CPU FP32
Intel® Core™ i5 8365UE CPU i5-8365ue CPU FP32
Intel® Core™ i7 8665UE CPU i7-8665ue CPU FP32
Intel® Xeon® E3 1268L v5 CPU e3-1268l-v5 CPU FP32
Intel® Xeon® Gold 5120 CPU gold-5120 CPU FP32
Intel® Xeon® Bronze 3206R CPU bronze-3206r CPU FP32INT8
Intel® Xeon® Silver 4214R CPU silver-4214r CPU FP32INT8
Intel® Xeon® Gold 5220R CPU gold-5220r CPU FP32INT8
Intel® Xeon® Gold 6258R CPU gold-6258r CPU FP32INT8
Intel® Atom® x5-E3940 CPU e3940 CPU FP32
Intel® Atom® x7-E3950 CPU e3950 CPU FP32
Intel® HD Graphics 500 GPU intel-hd-500 GPU FP32
Intel® HD Graphics 505 GPU intel-hd-505 GPU FP32
Intel® HD Graphics 530 GPU intel-hd-530 GPU FP32
Intel® HD Graphics P530 GPU intel-hd-p530 GPU FP32
Intel® UHD Graphics 620 GPU intel-uhd-620 GPU FP32
Intel® HD Graphics 630 GPU intel-hd-630 GPU FP32
Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x1 VPU intel-ncs2 MYRIAD FP16
Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x2 VPU myriadx-ma2485-vpu HDDLR FP16FP32
Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x8 VPU iei-mustang-v100-mx8 HDDLR FP16FP32
Intel® Arria® 10 FPGA FPGA iei-mustang-f100-a10 HDDL FP11FP16FP32

如何请求

如果要请求特定计算设备的边缘计算节点,可以提交工作,请求具备“Queue Label”栏所列属性的节点。例如:

qsub -l nodes=1:i5-6500te myscript.sh

该命令无法保证边缘计算节点的类型,只能保证(本示例中)该系统采用英特尔酷睿 i5 6500TE CPU。如果希望分配给工作的系统类型更加具体,可以 按照此处的说明,请求与所需边缘节点群对应的属性。

如何使用

如果要在基于 OpenVINO 开发的应用上使用计算设备,可以使用"OpenVINO Device"栏所列的设备参数初始化 IEPlugin 对象。例如,用 Python 语言编写、用于初始化插件的命令行如下所示:

from openvino.inference_engine import IEPlugin
plugin = IEPlugin(device="CPU")

浮点模型

" FP model "栏列出了适用于每台设备的浮点模型。运行模型优化器时,所使用的参数 --data-type 应设为适用于所选设备的浮点模型,如:

/opt/intel/openvino/deployment_tools/model_optimizer/mo.py --input_model ... --data_type FP32

关于边缘计算

边缘计算指靠近或嵌入至智能终端设备的计算资源。许多 AI 解决方案都可以利用边缘计算降低延迟、提高可用性,以及管理数据隐私。这些解决方案包括自动驾驶、零售分析、安全性和工业自动化。了解关于 英特尔边缘解决方案的更多信息。

下一个:

学习更多如何使用Intel® DevCloud