主流深度学习框架汇总与对比

  • 内容
  • 评论
  • 相关

想要学习深度学习,就要掌握一个有效的深度学习框架。那么现在都有哪些主流的深度学习开源框架,它们各自的优/缺点又是什么呢?

在工程实践中,我们认为,要选择一个得心应手的深度学习框架,主要从框架的流行程度和应用场景出发。

  • 对想要入门深度学习的用户来说,选择一个比较流行的框架意味着能从多种渠道中获得更多的支持,譬如书籍、博客、GitHub 项目等;
  • 对专门从事深度学习模型开发的用户来说,选择一个适合应用场景的框架,使用一门合适的开发语言,将会使模型开发达到事半功倍的效果。

下面介绍现在主流的深度学习开源框架,帮助读者对这些框架有直观的认识。

主流的深度学习开源框架

这是一个深度学习框架群雄逐鹿的年代,许多深度学习框架在涌现、合并,抑或凋零,其中包括 TensorFlow、Keras、CNTK、PyTorch、MXNet、Theano 等,它们的背后是 Google、Microsoft、Facebook、Amazon 等科技巨头。

就目前的情况来看:

  • 在 Google 的号召下,TensorFlow 拥有众多的开发者,在关注度和用户数上都占据绝对优势。
  • Keras 作为“框架上的框架”,以其易用性吸引了不少支持者。
  • Facebook 的 PyTorch、Amazon 的 MXNet、Microsoft 的 CNTK 等各有一技之长,在目前深度学习的战场上立有一席之地。
  • 而曾经的霸主 Theano,在没有大公司的支持下,开始没落。

对准备入门深度学习的人来说,深度学习框架在 GitHub上的活跃度可以作为一个重要的参考指标。在 GitHub 上,被 Star(收藏)和 Fork(分支)越多,意味着有越多的开发者选择了这个深度学习框架。

我总结了在 GitHub上(到 2019-02-01 为止)各个主流深度学习框架的活跃度,以及它们对编程语言和系统的支持情况,如下表所示。

主流深度学习框架的活跃度
框架名称 GitHub的活跃度 维护团队 支持语言 支持系统 编程模式
Star (数量) Fork (数量) 贡献者数量
TensorFlow 119730 71727 1817 Google Python、C++、 Java、 Go Linux、macOS、 Windows 、 Raspberry Pi 符号式编程
Keras 37850 14450 771 Google Python、 R Linux、macOS、 Windows 符号式编程
PyTorch 24331 5778 906 Facebook Python、C++ Linux、macOS、 Windows 命令式编程
MXNet 16255 5842 667 DMLC、 Amazon Python、C++、 Clojure、Julia、 Perl、R、Scala、 Java Linux、macOS、 Windows、Raspberry Pi、NVIDIA Jetson 符号式编程和命令式编程的混合编程
CNTK 15721 4213 191 Microsoft Python、C++、 C#/.NET、Java Linux、Windows 符号式编程
Theano 8667 2479 334 蒙特利尔 大学 Python Linux、macOS、Windows 符号式编程

从深度学习开源框架统计表中,我们可以看到:

1) TensorFlow 处于毫无疑问的霸主地位,其 Star 数和 Fork 数均超过了表中其他开源框架的 Star 数和 Fork 数的总和。

2) 在对语言的支持上,Python 为最受欢迎的语言,所有框架均支持 Python 或者 Python 优先。Python 的优雅、简洁,使得其具有较低的使用门槛和极高的编程效率,能够更快地尝试不同的参数组合以及更复杂的模型。

C++ 排名第二,除 Theano 和 Keras 外,其他深度学习框架底层都是由 C/C++ 语言编写的,保证了模型训练的速度和效率。

其他语言支持的框架各有不同,譬如 TensorFlow 支持Go语言、MXNet 支持 Scala 语言、CNTK 支持 C# 语言等。

3) 在支持的系统上,所有框架基本都支持 Linux、macOS 和 Windows 这3个主流系统(除 CNTK 缺少对 macOS 的原生支持外),TensorFlow 和 MXNet 还支持 Raspberry Pi(树莓派),MXNet 还支持 NVIDIA Jetson。

4) 在编程模式上,Theano、TensorFlow、CNTK、Keras 为符号式编程;PyTorch 为命令式编程;MXNet 比较特殊,支持符号式编程和命令式编程的混合编程。

【答疑解惑】编程模式与计算图

编程模式通常分为命令式编程(imperative style programs)和符号式编程(symbolic style programs)。

符号式编程

符号式编程将计算过程抽象为计算图。使用计算图可以方便地描述计算过程,所有输入节点、运算节点、输出节点均被符号化处理。计算图通过建立输入节点到输出节点的传递闭包,从输入节点出发,沿着传递闭包完成数值计算和数据流动,直到输出节点。

这个过程经过计算图优化,以数据流方式完成,节省了内存空间,计算速度快,但不适合程序调试。

因为符号式编程中的计算图先定义后执行(define and run),也被称为静态计算图。

命令式编程

命令式编程就是输入什么便执行什么,在运行语句时马上进行计算,对语句基本没有优化,按原有逻辑执行,容易理解和调试。命令式编程在运行过程中定义(define by run)的计算图,是动态计算图。

本文标题:主流深度学习框架汇总与对比

本文地址:http://www.hosteonscn.com/7524.html

评论

0条评论

发表评论

邮箱地址不会被公开。 必填项已用*标注