55/2020第十二章网络搭建及训练·第十二章网络搭建及训练·12.1 TensorFlowo12.1.1 TensorFlow是什么？o12.12 TensorFlow的设计理念是什么？·1.高度的灵活性■2真正的可移植性■3.多语言支持·4.丰富的算法库·5.完善的文档。12.1.4 TensorFlow的系统架构是怎样的？整个系统从底层到上层可分为七层：o12.1.5 TensorFlow编程模型是怎样的？·1构建图1.placeholder■2.variable■3.initializer·3.给图输入数据并获取结果。12.1.6如何基于tensorflow搭建VGG16·12.2 Pytorcho12.2.1 Pytorch:是什么？o12.2.2为什么选择Pytorch?o12.2.3 PyTorch的架构是怎样的？o12.2.4 Pytorch与tensorflow之间的差异在哪里？。12.2.5 Pytorch有哪些常用工具包？●12.3 Caffeo12.3.1什么是Caffe?o12.3.2Cafe的特点是什么？o12.3.3 Caffe的设计思想是怎样的？o12.3.4 Caffe架构是怎样的？■1.SyncedMem■2.Blob■3.ayer4.Net5.Solver■6.Protoo12.3.5Cafe的有哪些接口？■1.Caffe Python接口■2.Caffe MATLAB接口■3.Caffe命合行接☐le://home/shishuai/Desktop/第十二章网络搭建及练.html1/185/5/2020第十二章网络搭建及训练1.caffe train▣2.caffe test■3.caffe time■10.4网络搭建有什么原则？■10.4.1新手原则。■10.4.2深度优先原则。·10.4.3卷积核size一般为奇数。·10.4.4卷积核不是越大越好。。10.5有哪些经典的网络模型值得我们去学习的？。10.6网络训练有哪些技巧吗？■10.6.1.合适的数据集。■10.6.2.合适的预处理方法。·10.6.3.网络的初始化。■10.6.4.小规模数据试练。■10.6.5.设置合理Learning Rateo■10.6.6.损失函数第十二章网络搭建及训练12.1 TensorFlow12.1.1 TensorFlow是什么？TensorFlow支持各种异构平台，支持多CPU/GPU、服务器、移动设备，具有良好的跨平台的特性；TensorFlow架构灵活，能够支持各种网络模型，具有良好的通用性；此外，TensorFlow架构具有良好的可扩展性，对oP的扩展支持，Kernel特化方面表现出众。研究，于2015.10宣布开源，在众多深度学习框架中脱颖而出，在Github上获得了最多的Star量。12.1.2 TensorFlow的设计理念是什么？TensorFlow的设计理念主要体现在两个方面：(1)将图定义和图运算完全分开。TensorFlow被认为是一个“符号主义"的库。我们知道，编程模式通常分为命合式编程(imperative style programming)和符号式编程(symbolic styleprogramming).。命合式编程就是编写我们理解的通常意义上的程序，很容易理解和调试，按照原有逻辑执行。符号式编程涉及很多的嵌入和优化，不容易理解和调试，但运行速度相对有所提升。现有的深度学习框架中，Torch是典型的命合式的，Caffe、MXNet采用了两种编程模式混合的方法，而TensorFlow完全采用符号式编程。符号式计算一般是先定义各种变量，然后建立一个数据流图，在数据流图中规定各个变量间的计算关系，最后需要对据流图进行编译，但此时的数据流图还是一个空壳儿，里面没有任何实际数据，只有把需要运算的输入放进去后，于能在整个模型中形成数据流，从而形成输出值。例如：le://home/shishuai/Deskto p/第十二章网络搭建及训练.html2/185/5/2020第十二章网络搭建及训练t=8+9print(t)在传统的程序操作中，定义了t的运算，在运行时就执行了，并输出17。而在TensorFlow中，数据流图中的节点，实际上对应的是TensorFlow API中的一个操作，并没有真正去运行：import tensorflow as tft tf.add(8,9)print(t)#Tensor{"Add_1:0",shape={},dtype=int32)(2)TensorFlow中涉及的运算都要放在图中，而图的运行只发生在会话(session)中。开后会话后，就可以用数据去填充节点，进行运算；关闭会话后，就不能进行计算了。因此，会话提供了操作运行和Tensor求值的环境。例如：import tensorflow as tf#创建图a tf.constant([4.0,5.0])b =tf.constant([6.0,7.0])c=a*b#创建会话sess tf.Session()#计算cprint(sess.run(c))#进行矩阵乘法，输出[24.，35.]sess.close()12.1.3 TensorFlow特点有哪些？1.高度的灵活性TensorFlow并不仅仅是一个深度学习库，只要可以把你的计算过程表示称一个数据流图的过程，我们就可以使用TensorFlow来进行计算。TensorFlow允许我们用计算图的方式建立计算网络，同时又可以很方便的对网络进行操作。用户可以基于TensorFlow的基础上用python编写自己的上层结构和库，如果TensorFlow没有提供我们需要的API的，我们也可以自己编写底层的C++代码，通过自定义操作将新编写的功能添加到TensorFlow中。2.真正的可移植性TensorFlow可以在CPU和GPU上运行，可以在台式机、服务器、移动设备上运行。你想在你的笔记本上跑一下深度学习的训练，或者又不想修改代码，想把你的模型在多个CPU上运行，3.多语言支持TensorFlow:采用非常易用的python来构建和执行我们的计算图，同时也支持C++的语言。我们可以直接写python和C++的程序来执行TensorFlow,也可以采用交互式的lipython来方便的尝试le://home/shishuai/Desktop/第十二章网络搭建及练.html3/18