关于Pytorch的MLP模块实现方式
作者:黄鑫huangxin 时间:2021-12-19 03:28:22
MLP分类效果一般好于线性分类器,即将特征输入MLP中再经过softmax来进行分类。
具体实现为将原先线性分类模块:
self.classifier = nn.Linear(config.hidden_size, num_labels)
替换为:
self.classifier = MLP(config.hidden_size, num_labels)
并且添加MLP模块:
class MLP(nn.Module):
def __init__(self, input_size, common_size):
super(MLP, self).__init__()
self.linear = nn.Sequential(
nn.Linear(input_size, input_size // 2),
nn.ReLU(inplace=True),
nn.Linear(input_size // 2, input_size // 4),
nn.ReLU(inplace=True),
nn.Linear(input_size // 4, common_size)
)
def forward(self, x):
out = self.linear(x)
return out
看一下模块结构:
mlp = MLP(1000,3)
print(mlp)
来源:https://blog.csdn.net/qq_33373858/article/details/88108153
标签:Pytorch,MLP模块
0
投稿
猜你喜欢
python 第三方库的安装及pip的使用详解
2023-12-27 07:06:53
python多进程控制学习小结
2021-08-31 00:48:57
Python人工智能构建简单聊天机器人示例详解
2022-03-10 04:42:29
Django 创建新App及其常用命令的实现方法
2023-05-20 09:04:47
如何做一个可以让人家申请使用的计数器?
2010-07-11 21:17:00
利用php+mcDropdown实现文件路径可在下拉框选择
2023-09-11 15:18:02
Python实现在线批量美颜功能过程解析
2023-10-27 10:38:34
python3 googletrans超时报错问题及翻译工具优化方案 附源码
2022-07-15 12:05:47
SQL Server 2000的视图中必须小心使用*符号
2008-12-05 15:38:00
将HTML表单数据存储为XML格式
2007-08-23 13:04:00
基于Python实现下载网易音乐代码实例
2023-05-25 01:05:51
Python错误+异常+模块总结
2023-07-26 03:18:19
20行代码教你用python给证件照换底色的方法示例
2023-04-03 23:48:32
python采集天气数据并做数据可视化
2022-07-16 15:26:39
中国目前流行的网页设计风格
2007-12-20 12:57:00
让ASP组件来保护你的网站,自定义加密方法的使用
2009-11-07 19:27:00
Python Pandas教程之series 上的转换操作
2023-08-16 22:20:50
Python pytest装饰器总结(实例详解)
2023-06-12 07:15:14
PHP使用laravel邮件服务发送邮件
2023-05-25 03:48:23
Linux下PhpMyAdmin程序目录结构的安全管理
2023-10-18 14:16:05