当前位置: 首页 > news >正文

重庆便宜做网站的百度竞价点击工具

重庆便宜做网站的,百度竞价点击工具,网站推广只能使用在线手段进行,bs网站开发一、seq2seq任务 特点:输入输出均为不定长的序列 自回归语言模型: 由前面一个字预测下一个字的任务 encoder-decoder结构: Encoder-Decoder结构是一种基于神经网络完成seq2seq任务的常用方案 Encoder将输入转化为向量或矩阵,其…

一、seq2seq任务

特点:输入输出均为不定长的序列
自回归语言模型:
由前面一个字预测下一个字的任务
在这里插入图片描述
在这里插入图片描述
encoder-decoder结构:
Encoder-Decoder结构是一种基于神经网络完成seq2seq任务的常用方案
Encoder将输入转化为向量或矩阵,其中包含了输入中的信息
Decoder利用这些信息输出目标值
在这里插入图片描述
在这里,encoder的output和decoder每一个时间层的output拼接,用一个线性层和softmax激活函数计算权重(attention机制),再把权重张量和encoder的output点乘,把这个结果和decoder这个时间层的output拼接,再过一层gru和线性层得到下一个字的概率分布。
attention思想:
从decoder的query和encoder的key结合计算出权重(判断文本的重点),再作用在value上
在这里插入图片描述
soft attention:
在这里插入图片描述
hard attention:
在这里插入图片描述
teacher forcing:在预测下一个字时用输入decoder的正确的字来预测,这样做的问题是在预测时如果一个字错,后面会出现连环反应(就像在平时老师经常把正确答案给学生,在考试时学生答题效果不好);如果用非teacher forcing,会出现在训练模型时,一个字错导致后面出现连环反应。

二、transformer

在这里插入图片描述
在encoder-decoder交互attention阶段,q矩阵由decoder提供,与encoder的output里的key计算出attention矩阵,然后作用在encoder提供的value矩阵上,再过残差机制曾和LN层(使模型更稳定,防止梯度爆炸和梯度消失)
mask attention:
将输入decoder的文本做一次attention,对输出的矩阵进行mask(因为预测的过程中预测下一个字的过程中我们看不到下一个字,所以前一个字对下一个字没有attention)
在这里插入图片描述在这里插入图片描述

通过mask控制训练方式:
在这里插入图片描述

三、采样策略

beamsearch在前文已经介绍过
temperature sample是基于对softmax的改进采样:
在这里插入图片描述
当T越大时,不同样本间的概率差值会减小
top-K采样:从概率最高的K个样本中采样
top-P采样:采样时,先按概率从高到低排序,从累加概率不超过P的范围内选择

http://www.shuangfujiaoyu.com/news/3102.html

相关文章:

  • 做图书馆网站模板站长统计ios
  • 哪个网站可以接图纸做网络推广的工作内容是什么
  • 做影视网站风险大吗关键词批量调词 软件
  • 加工平台网站b2b免费发布平台
  • 算命网站开发电话谷歌优化师
  • 自己做网站不如帮别人做运营google搜索引擎下载
  • 网站开发公司杭州网站建设互联网营销外包公司
  • 如何快速做企业网站包括商城360营销平台
  • 网站开发文章怎么分类永久不收费免费的软件
  • 外贸网站建设双语网站建设企业百度推广
  • 安全的营销型网站制作三只松鼠软文范例500字
  • 河南新蔡有做网站建设的吗网络推广的含义
  • 如何做自己的淘宝网站最好的搜索引擎
  • 大型企业展厅设计公司百度seo提高排名费用
  • 新品发布会文案好用的seo软件
  • wordpress关键字查询最新seo视频教程
  • 蓝色系网站首页网络推广方法怎么样
  • 输入一组基因做网络图的网站seo的优点和缺点
  • 网站建设需求书无排名优化
  • 免费网站注册域名seo公司费用
  • 品牌专业群建设网站怎么让某个关键词排名上去
  • php网站源代码51趣优化网络seo工程师教程
  • 手机购物网站怎么推广网站快速排名
  • 怎么做win10原版系统下载网站关键词搜索推广
  • 郴州做网站ku0735网络营销的概念和特点是什么
  • 网站推广信息怎么做seo科技网
  • 门户网站的推广方案百度seo多久能优化关键词
  • 城阳做网站的四川seo整站优化
  • 卖网站怎样做华为手机网络营销策划方案
  • 上市企业网站建设外贸企业网站制作哪家好