5/5/2020第一章数学基础·第一章数学基础01.1向量和矩阵·1.1.1标量、向量、矩阵、张量之间的联系·1.1.2张量与矩阵的区别■1.1.3矩阵和向量相乘结果■1.1.4向量和矩阵的范数归纳·1.1.5如何判断一个矩阵为正定。1.2导数和偏导数·1.2.1导数偏导计算·1.2.2导数和偏导数有什么区别？。1.3特征值和特征向量·1.3.1特征值分解与特征向量·1.3.2奇异值与特征值有什么关系。1.4概率分布与随机变量·1.4.1机器学习为什么要使用概率·1.4.2变量与随机变量有什么区别·1.4.3随机变量与概率分布的联系·1.4.4离散型随机变量和概率质量函数·1.4.5连续型随机变量和概率密度函数·1.4.6举例理解条件概率·1.4.7联合概率与边缘概率联系区别■14.8条件概率的链式法则■1.4.9独立性和条件独立性。1.5常见概率分布·1.5.2高斯分布·1.53何时采用正态分布■1.5.4指数分布·1.5.5 Laplace分布（拉普拉斯分布）·1.5.6 Dirac分布和经验分布。1.6期望、方差、协方差、相关系数■1.6.2方差■1.6.3协方差■1.6.4相关系数。参考文献第一章数学基础深度学习通常又需要哪些数学基础？深度学习里的数学到底难在哪里？通常初学者都会有这些问题，在网络推荐及书本推荐里，经常看到会列出一系列数学科目，比如微积分、线性代数、概率论、复变西数、数值计算、优化理论、信息论等等。这些数学知识有相关性，但实际上按照这样的知识范围来学习，学习成本会很久，而且会很枯燥，本章我们通过选举一些数学基础里容易混淆的一些概念做以介绍，帮助大家更好的理清这些易混淆概念之间的关系。le://home/shishuai/Deskto p/第一章数学基础.html1/1355/2020第一章数学基础1.1向量和矩阵1.1.1标量、向量、矩阵、张量之间的联系标量(scalar)一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组)。我们用斜体表示标量。标量通常被赋予小写的变量名称。向量(vector)一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如xx。向量中的元素可以通过带脚标的斜体表示。向量X的第一个元素是X1,第二个元素是X2,以此类推。我们也会注明存储在向量中的元素的类型（实数、虚数等)。矩阵(matrix)矩阵是具有相同特征和纬度的对象的集合，表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行，一个特征表示为矩阵中的一列，每个特征都有数值型的取值。通常会赋予矩阵粗体的大写变量名称，比如A。张量(tensor)在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。使用A来表示张量"A“。张量A中坐标为(i,j,k)的元素记四者之间关系标量是0阶张量，向量是一阶张量。举例：标量就是知道棍子的长度，但是你不会知道棍子指向哪儿©向量就是不但知道棍子的长度，还知道棍子指向前面还是后面。张量就是不但知道棍子的长度，也知道棍子指向前面还是后面，还能知道这棍子又向上/下和左/右偏转了多少。1.1.2张量与矩阵的区别·从代数角度讲，矩阵它是向量的推广。向量可以看成一维的“表格”（即分量按照顺序排成一排)，矩阵是二维的“表格”（分量按照纵横位置排列），那么n阶张量就是所谓的维的“表格”。张量的严格定义是利用线性映射来描述。·从几何角度讲，矩阵是一个真正的几何量，也就是说，它是一个不随参照系的坐标变换而变化的东西。向量也具有这种特性。·张量可以用3×3矩阵形式来表达。·表示标量的数和表示向量的三维数组也可分别看作1×1,1×3的矩阵。1.1.3矩阵和向量相乘结果若使用爱因斯坦求和约定(Einstein summation convention),矩阵A,B相乘得到矩阵C可以用下式表示：(1.3-1)le://home/shishuai/Desk灶op/第一章数学基础.html2/135/5/2020第一章数学基础其中，ak,bj,C分别表示矩阵A,B,C的元素，k出现两次，是一个哑变量(DummyVariables)表示对该参数进行逼历求和。而矩阵和向量相乘可以看成是矩阵相乘的一个特殊情况，例如：矩阵B是一个n×1的矩阵。1.1.4向量和矩阵的范数归纳向量的范数(norm)定义一个向量为：d=[-5,6,8,-10]。任意一组向量设为元=(x1,x2,,xN)。其不同范数求解如下：·向量的1范数：向量的各个元素的绝对值之和，上述向量的1范数结果就是：29。·向量的2范数：向量的每个元素的平方和再开平方根，上述的2范数结果就是：15。1·向量的负无穷范数：向量的所有元素的绝对值中最小的：上述向量的负无穷范数结果就·向量的正无穷范数：向量的所有元素的绝对值中最大的：上述向量的正无穷范数结果就是：10。·向量的p范数：矩阵的范数定义一个矩阵A=[-1,2,-3;4,-6,6]。任意矩阵定义为：Amxm,其元素为a0矩阵的范数定义为当向量取不同范数时，相应得到了不同的矩阵范数。·矩阵的1范数（列范数）：矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大），上述矩阵A的1范数先得到5,8,9]，再取最大的最终结果就是：9。file://home/shishuai//Desktop/第一章数学基础.html3/13