深度学习-激活函数与优化器 具体激活函数参见此篇激活函数从图像上来看通常比较简单。他的工作内容也很简单，就是对上一层输出与本层权重的加权求和值做一个转换变成。通常这个转换是非线性的。那不要这个激活函数好不好？很容易证明，如果不用... 佚名 2024-08-12 77 #函数 #梯度
优化方法-Adam.PPT 优化方法*/255、Mini-batchGradientDescent面临的挑战：learningrate选取比较困难对于稀疏数据或者特征，有时我们可能想更新快一些；对于常出现的特征更新慢一些，这时候... 佚名 2024-06-19 135 #梯度 #方法
一文搞懂RMSProp优化算法优化器 DeepLearning最优化方法之AdaGrad而本文要介绍的RMSProp优化算法是AdaGrad算法的一种改进。首先给出AdaGrad算法：再抛出原始的RMSProp算法:可以看出RMSProp... 佚名 2024-05-26 119 #算法 #梯度
【PyTorch学习笔记】15：动量(momentum),学习率衰减 动量(momentum)简述之前学习的用梯度更新参数www的公式：wk+1=wk?α??f(wk)w_{k+1}=w_k-\alpha\cdotablaf(w_k)wk+1?=wk??α??f(wk?... 佚名 2024-05-20 108 #学习 #参数
深度学习——优化算法 在训练模型时，我们会使用优化算法不断迭代模型参数以降低模型损失函数的值，当迭代终止时，模型的训练随之终止，此时的模型参数就是模型通过训练所学习到的参数。优化与深度学习的关系优化与深度学习的关系：优化算... 佚名 2024-05-13 75 #梯度 #学习
SGD、Adam优化器_1 向AI转型的程序员都关注了这个号机器学习AI算法工程公众号：datayx优化损失函数损失函数：为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数... 佚名 2024-04-22 146 #梯度 #学习
优化器怎么选？一文教你选择适合不同ML项目的优化器 为机器学习项目选择合适的优化器不是一件简单的事。选自lightly.ai，机器之心编译，编辑：小舟、杜伟。优化器是深度学习领域的重要组成模块之一，执行深度学习任务时采用不同的优化器会产生截然不同的效果... 佚名 2024-03-11 157 #优化 #梯度
