Softmax函数原理及Python实现过程解析

作者:April15 时间:2022-12-15 02:18:24 

Softmax原理

Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果,具体计算公式为:

Softmax函数原理及Python实现过程解析

对于k维向量z来说,其中zi∈R,我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法,如max-min、z-score方法并不能保证各个元素为正,且和为1。

Softmax性质

输入向量x加上一个常数c后求softmax结算结果不变,即:

Softmax函数原理及Python实现过程解析

我们使用softmax(x)的第i个元素的计算来进行证明:

Softmax函数原理及Python实现过程解析

函数实现

由于指数函数的放大作用过于明显,如果直接使用softmax计算公式

Softmax函数原理及Python实现过程解析

进行函数实现,容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质:先对输入数据进行处理,之后再利用计算公式计算。具体使得实现步骤为:

  • 查找每个向量x的最大值c;

  • 每个向量减去其最大值c, 得到向量y = x-c;

  • 利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)

代码如下:


import numpy as np

def softmax(x):
 """
 softmax函数实现
 参数:
 x --- 一个二维矩阵, m * n,其中m表示向量个数,n表示向量维度
 返回:
 softmax计算结果
 """
 assert(len(X.shape) == 2)
 row_max = np.max(X, axis=axis).reshape(-1, 1)
 X -= row_max
 X_exp = np.exp(X)
 s = X_exp / np.sum(X_exp, axis=axis, keepdims=True)

return s

测试一下:

a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)

print(softmax(a))
print(softmax(b))
print(softmax(c)) # error

输出结果为:

[[ 0.09003057 0.24472847 0.66524096]
[ 0.66524096 0.24472847 0.09003057]]
[[ 0.09003057 0.24472847 0.66524096]]
Traceback (most recent call last):
assert(len(X.shape) == 2)
AssertionError

来源:https://www.cnblogs.com/ysugyl/p/12922598.html

标签:Python,Softmax,函数
0
投稿

猜你喜欢

  • 基于js里调用函数时,函数名带括号和不带括号的区别

    2023-08-24 05:05:41
  • python实现登录密码重置简易操作代码

    2022-12-08 13:34:43
  • 浅谈Pandas 排序之后索引的问题

    2022-03-18 12:28:32
  • Python实现的生产者、消费者问题完整实例

    2022-08-15 14:37:30
  • Python logging设置和logger解析

    2021-07-15 22:12:52
  • 教你轻松掌握如何正确的修复Access数据库

    2008-11-28 16:21:00
  • js模拟类继承小例子

    2024-04-16 10:38:29
  • python能否java成为主流语言吗

    2022-10-16 18:34:11
  • Recipe: 把SQL数据库部署到远程主机环境(第一部分)

    2007-09-23 13:07:00
  • 简述MySql四种事务隔离级别

    2024-01-18 12:52:11
  • mysql 5.7.16 winx64安装配置方法图文教程

    2024-01-26 22:30:25
  • 超轻量级MSXML多功能测试程序

    2009-05-19 12:38:00
  • golang常用库之gorilla/mux-http路由库使用详解

    2024-04-29 13:04:01
  • python异常中else的实例用法

    2021-02-05 06:18:56
  • layui table 获取分页 limit的方法

    2023-08-24 13:44:56
  • Django REST framework 视图和路由详解

    2022-10-16 00:29:32
  • 一文带你搞懂Python中的文件操作

    2023-07-20 14:00:52
  • Python打包为exe详细教程

    2023-08-23 03:00:21
  • python处理两种分隔符的数据集方法

    2023-06-17 11:24:54
  • Python web如何在IIS发布应用过程解析

    2022-10-17 16:02:51
  • asp之家 网络编程 m.aspxhome.com