深度学习选什么显卡性价比最高？看完你就不再愁！

发布时间：2020-11-02 11:51:31　最后更新：2020-11-23 10:04:08　浏览次数：13018

如果你在从事了AI相关的工作，那你应该就明白一件事：让GPU执行不同的任务，最佳选择也随之变化，用于计算机视觉和做NLP就都不太一样。而且，真正的业务应用场景用云端TPU、GPU行不行?和本地GPU在处理任务时应该如何分配，才能更省钱?这些问题我想都是大伙拿着很棘手的问题。

所以本篇文章就要让大伙不仅了解GPU，还要让大家在选择各种GPU时有明确的认识和方向!现在，为了帮你找到最适合的装备，小编跟大家分享一份测评，来看看到底谁能在众多GPU中脱颖而出?话不多说，马上揭晓。

1、最重要的参数

针对不同深度学习架构，GPU参数的选择优先级是不一样的，总体来说分两条路线：

卷积网络和Transformer：

张量核心(Tensor Core)>FLOPs(每秒浮点运算次数)>显存带宽>16位浮点计算能力

循环神经网络：显存带宽>16位浮点计算能力>张量核心>FLOPs

这个排序背后有一套逻辑，下面将详细解释一下。在说清楚哪个GPU参数对速度尤为重要之前，先看看两个最重要的张量运算：矩阵乘法和卷积。举个栗子，以运算矩阵乘法A×B=C为例，将A、B复制到显存上比直接计算A×B更耗费资源。也就是说，如果你想用LSTM等处理大量小型矩阵乘法的循环神经网络，显存带宽是GPU最重要的属性。矩阵乘法越小，内存带宽就越重要。

相反，卷积运算受计算速度的约束比较大。因此，要衡量GPU运行ResNets等卷积架构的性能，最佳指标就是FLOPs。张量核心可以明显增加FLOPs。Transformer中用到的大型矩阵乘法介于卷积运算和RNN的小型矩阵乘法之间，16位存储、张量核心和TFLOPs都对大型矩阵乘法有好处，但它仍需要较大的显存带宽。需要特别注意，如果想借助张量核心的优势，一定要用16位的数据和权重，避免使用RTX显卡进行32位运算!

下面总结了一张GPU和TPU的标准性能数据，值越高代表性能

越好。RTX系列假定用了16位计算，WordRNN数值是指长度<100的段序列的biLSTM性能。

这项基准测试是用PyTorch 1.0.1和CUDA 10完成的。

2、性价比分析

性价比可能是选择一张GPU最重要的考虑指标。在攻略中，进行了如下运算测试各显卡的性能：

·用语言模型Transformer-XL和BERT进行Transformer性能的基准测试。

·用最先进的biLSTM进行了单词和字符级RNN的基准测试。

·上述两种测试是针对Titan Xp、Titan RTX和RTX2080 Ti进行的，对于其他GPU则线性缩放了性能差异。

·借用了现有的CNN基准测试。

·用了亚马逊和eBay上显卡的平均售价作为GPU的参考成本。

·最后，可以得出CNN、RNN和Transformer的归一化性能/成本比值，如下所示：

在上面这张图中，数字越大代表每一美元能买到的性能越强。可以看出， RTX 2060比RTX 2070，RTX2080或RTX 2080 Ti更具成本效益，甚至是Tesla V100性价比的5倍以上。所以此轮的性价比之王已经确定，是RTX 2060无疑了。不过，这种考量方式更偏向于小型GPU，且因为游戏玩家不喜欢RTX系列显卡，导致GTX 10xx系列的显卡售价虚高。此外，还存在一定的单GPU偏差，一台有4个RTX 2080 Ti的计算机比两台带8个RTX 2060的计算机性价比更高。

3、所需显存与16位训练

GPU的显存对某些应用至关重要，比如常见的计算机视觉、机器翻译和一部分NLP应用。可能你认为RTX 2070具有成本效益，但需要注意其显存很小，只有8 GB。不过，也有一些补救办法。通过16位训练，你可以拥有几乎16位的显存，相当于将显存翻了一倍，这个方法对RTX 2080和RTX 2080 Ti同样适用。也就是说，16位计算可以节省50%的内存，16位 8GB显存大小与12GB 32位显存大小相当。

4、云端or本地?TPU or GPU?

搞清楚了参数，还有更眼花缭乱的选项摆在面前：

谷歌云、亚马逊AWS、微软的云计算平台都能搞机器学习，是不是可以不用自己买GPU?英伟达、AMD、英特尔、各种创业公司……AI加速芯片也有不少品牌可选。面对整个行业的围攻分析了各家平台的优缺点。

英伟达

英伟达无疑是深度学习硬件领域的领导者，大多数深度学习库都对英伟达GPU提供最佳支持。而AMD的OpenCL没有这样强大的标准库。软件是英伟达GPU非常强大的一部分。在过去的几个月里，NVIDIA还在为软件注入更多资源。例如，Apex库对PyTorch中的16位梯度提供支持，还包括像FusedAdam这样的融合快速优化器。

但是英伟达现在有一项非常坑爹的政策，如果在数据中心使用CUDA，那么只允许使用Tesla GPU而不能用GTX或RTX GPU。由于担心法律问题，研究机构和大学经常被迫购买低性价比的Tesla GPU。然而，Tesla与GTX和RTX相比并没有真正的优势，价格却高出10倍。这里特别注意，在选择英伟达的显卡时，一定要区分显卡的类型。NVIDIA主要有三个系列的显卡：GeForce,Quadro,Tesla。

GeForce面向游戏，Quadro面向3D设计、专业图像和CAD等，Tesla面向科学计算。GeForce面向游戏，性能高，但精度低，稳定性比Telsa差很多。毕竟玩游戏的时候如果程序崩了也就丢个存档，但服务器崩了没准挂掉一个公司。

Tesla从诞生之初就瞄准高精度科学计算，所以Tesla严格意义上不是块显卡，是个计算加速卡。(对于不带视频输出的Tesla显卡而言，玩游戏是指望不上的)。Tesla的设计上双精度浮点数的能力比起Geforce系列强很多，不过从深度学习的角度看，双精度显得不那么重要，经典的AlexNet就算两块GTX580训练出来的。除了精度，Tesla主要面向工作站和服务器，所以稳定性很好，同时会有很多针对服务器的优化。当然，Tesla系列最大的特点是贵。

综上，如果在大规模集群上进行深度学习研发和部署，Tesla是首选，尤其是M和P子系列。单机上开发的话，土豪或者追求稳定性高的人请选Tesla，最有性价比且能兼顾日常使用的选择是GeForce.

AMD

AMD GPU性能强大但是软件太弱。虽然有ROCm可以让CUDA转换成可移植的C++代码，但是问题在于，移植TensorFlow和PyTorch代码库很难，这大大限制了AMD GPU的应用。TensorFlow和PyTorch对AMD GPU有一定的支持，所有主要的网络都可以在AMD GPU上运行，但如果想开发新的网络，可能有些细节会不支持。对于那些只希望GPU能够顺利运行的普通用户，并不推荐AMD。但是支持AMD GPU和ROCm开发人员，会有助于打击英伟达的垄断地位，将使每个人长期受益。

英特尔

一些人曾经尝试过至强融核(Xeon Phi)处理器，但体验让人失望。英特尔目前还不是英伟达或AMD GPU真正的竞争对手。至强融核对深度学习的支持比较差，不支持一些GPU的设计特性，编写优化代码困难，不完全支持C++ 11的特性，与NumPy和SciPy的兼容性差。英特尔曾计划在今年下半年推出神经网络处理器(NNP)，希望与GPU和TPU竞争，但是该项目已经跳票。

谷歌

谷歌TPU已经发展成为一种非常成熟的云端产品。你可以这样简单理解TPU：把它看做打包在一起的多个专用GPU，它只有一个目的——进行快速矩阵乘法。如果看一下具有张量核心的V100 GPU与TPUv2的性能指标，可以发现两个系统的性能几乎相同。TPU本身支持TensorFlow，对PyTorch的支持也在试验中。TPU在训练大型Transformer GPT-2上取得了巨大的成功，BERT和机器翻译模型也可以在TPU上高效地进行训练，速度相比GPU大约快56%。

但是TPU也并非没有问题，有些文献指出在TPUv2上使用LSTM没有收敛。TPU长时间使用时还面临着累积成本的问题。TPU具有高性能，最适合在训练阶段使用。在原型设计和推理阶段，应该依靠GPU来降低成本。总而言之，目前TPU最适合用于训练CNN或大型Transformer，并且应该补充其他计算资源而不是主要的深度学习资源。