科学空间、 科学FM、 数学、 科普、 机器学习、 深度学习、 模型、 优化、 自然语言处理、 NLP、 天文、 量子、 费曼、 路径积分、 对称、

渴望成为一个小飞侠

科学空间www.kexue.fm于2023-10-18 11:22:11由该站站长自助申请提交或根据来路被便民库自助收录，便民库仅展示科学空间www.kexue.fm网站的基础信息，www.kexue.fm的IP地址：- 地址：-，www.kexue.fm的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在7~10之间、百度手机端来访流量大约在5~8之间、www.kexue.fm的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有6个、迄今为止已经创建未知。

如此站不想被收录或存在违法违规内容，请联系我们删除

科 学 空 间 | S c i e n t i f i c S p a c e s S E A R C H M E N U 打 赏 公 式 天 象 链 接 时 光 博 览 归 档 C A T E G O R I E S 千 奇 百 怪 天 文 探 索 数 学 研 究 物 理 化 学 信 息 时 代 生 物 自 然 图 片 摄 影 问 题 百 科 生 活 / 情 感 资 源 共 享 N E W P O S T S 简 单 得 令 人 尴 尬 的 F S Q ： “ 四 舍 五 入 . . . 从 梯 度 最 大 化 看 A t t e n t i o n 的 . . . 随 机 分 词 再 探 ： 从 V i t e r b i S . . . E M O ： 基 于 最 优 传 输 思 想 设 计 的 分 类 . . . 预 训 练 一 下 ， T r a n s f o r m e r . . . 脑 洞 大 开 ： 非 线 性 R N N 居 然 也 可 以 并 . . . 自 然 数 集 中 N = a b + c . . . 随 机 分 词 浅 探 ： 从 V i t e r b i D . . . 大 词 表 语 言 模 型 在 续 写 任 务 上 的 一 个 问 . . . B y t e P i e c e ： 更 纯 粹 、 更 高 压 . . . C O M M E N T S 龙 行 : 苏 神 这 里 第 二 个 式 子 少 了 一 个 负 号 。 这 里 如 果 用 D D P M 的 p ( x t . . . Z Z Z Z : 看 见 苏 神 都 要 花 几 天 推 导 ， 已 经 推 了 一 周 的 我 放 心 了 g a u s s c l b : 苏 神 ， $ \ \ b o l d s y m b o l ( \ \ b o l d s y m b o l . . . w i n s t o n m : 感 谢 。 。 。 k e r r y : m a c o s 下 的 e d g e 也 遇 到 了 部 分 字 符 无 法 渲 染 的 问 题 ， 而 且 大 部 . . . L e e C h u a i : 叠 词 ， 精 辟 ！ L e e C h u a i : 老 师 你 好 ， E M O 和 R A G 是 不 是 比 较 类 似 ？ s c o f i e l d : 苏 神 ， 如 果 说 我 想 获 取 s p a n 的 表 征 ， 该 如 何 操 作 呢 ， 是 把 经 过 R O . . . h u n g : 请 教 苏 神 ， 初 始 化 是 希 望 方 差 1 的 输 入 经 过 该 层 后 方 差 仍 是 1 ， 包 括 标 . . . z c j 5 9 1 8 : 确 实 可 以 ， 我 试 了 一 下 ， 如 果 加 入 了 类 似 复 数 向 量 模 长 这 种 概 念 ， 好 像 . . . U S E R L O G I N 登 录 科 学 空 间 | S c i e n t i f i c S p a c e s 登 录 打 赏 公 式 天 象 链 接 时 光 博 览 归 档 渴 望 成 为 一 个 小 飞 侠 欢 迎 订 阅 个 性 邮 箱 天 象 信 息 观 测 I S S L a T e X 关 于 博 主 欢 迎 访 问 “ 科 学 空 间 ” ， 这 里 将 与 您 共 同 探 讨 自 然 科 学 ， 回 味 人 生 百 态 ； 也 期 待 大 家 的 分 享 ～ 千 奇 百 怪 E v e r y t h i n g 天 文 探 索 A s t r o n o m y 数 学 研 究 M a t h e m a t i c s 物 理 化 学 P h y c h e m 信 息 时 代 B i g D a t a 生 物 自 然 B i o l o g y 图 片 摄 影 P h o t o g r a p h 问 题 百 科 Q u e s t i o n s 生 活 / 情 感 L i f e F e e l i n g 资 源 共 享 R e s o u r c e s 千 奇 百 怪 天 文 探 索 数 学 研 究 物 理 化 学 信 息 时 代 生 物 自 然 图 片 摄 影 问 题 百 科 生 活 / 情 感 资 源 共 享 感 谢 国 家 天 文 台 L A M O S T 项 目 之 “ 宇 宙 驿 站 ” 提 供 网 络 空 间 和 数 据 库 资 源 ! 感 谢 国 家 天 文 台 崔 辰 州 博 士 等 人 的 多 方 努 力 和 技 术 支 持 ！ 科 学 空 间 致 力 于 知 识 分 享 ， 所 以 欢 迎 您 转 载 本 站 文 章 ， 但 转 载 本 站 内 容 必 须 遵 循 署 名 非 商 业 用 途 保 持 一 致 的 创 作 共 用 协 议 。 参 与 科 学 空 间 为 了 保 证 你 的 利 益 ， 推 荐 你 注 册 为 本 站 会 员 。 同 时 欢 迎 通 过 邮 件 或 留 言 进 行 交 流 、 建 议 或 反 馈 科 学 空 间 的 问 题 。 会 员 注 册 会 员 登 录 查 看 全 站 文 章 归 档 页 3 1 O c t 简 单 得 令 人 尴 尬 的 F S Q ： “ 四 舍 五 入 ” 超 越 了 V Q V A E B y 苏 剑 林 | 2 0 2 3 1 0 3 1 | 5 0 0 5 位 读 者 | 引 用 正 如 “ X X X i s a l l y o u n e e d ” 一 样 ， 有 不 少 论 文 都 以 “ 简 单 得 令 人 尴 尬 ” 命 名 （ A n E m b a r r a s s i n g l y S i m p l e X X X ） ， 但 在 笔 者 看 来 ， 这 些 论 文 大 多 数 都 是 噱 头 多 于 实 力 。 不 过 ， 笔 者 最 近 阅 读 到 的 一 篇 论 文 ， 真 的 让 人 不 由 得 发 出 “ 简 单 得 令 人 尴 尬 ” 的 感 叹 ～ 论 文 的 标 题 是 《 F i n i t e S c a l a r Q u a n t i z a t i o n : V Q V A E M a d e S i m p l e 》 ， 顾 名 思 义 ， 这 是 一 篇 旨 在 用 F S Q （ F i n i t e S c a l a r Q u a n t i z a t i o n ） 简 化 V Q V A E 的 工 作 。 随 着 生 成 模 型 、 多 模 态 L L M 的 逐 渐 流 行 ， V Q V A E 及 其 后 续 工 作 也 作 为 “ 图 像 的 T o k e n i z e r ” 而 “ 水 涨 船 高 ” 。 然 而 ， V Q V A E 的 训 练 本 身 也 存 在 一 些 问 题 ， 而 F S Q 这 篇 论 文 则 声 称 通 过 更 简 单 的 “ 四 舍 五 入 ” 就 可 以 达 到 同 样 的 目 的 ， 并 且 有 着 效 果 更 好 、 收 敛 更 快 、 训 练 更 稳 的 优 点 。 F S Q 真 有 这 么 神 奇 ？ 接 下 来 我 们 一 起 学 习 一 下 。 V Q 首 先 ， 我 们 来 了 解 一 下 “ V Q ” 。 V Q 全 称 是 “ V e c t o r Q u a n t i z e ” ， 可 以 翻 译 为 “ 向 量 量 子 化 ” 或 者 “ 向 量 量 化 ” ， 是 指 将 无 限 、 连 续 的 编 码 向 量 映 射 为 有 限 、 离 散 的 整 数 数 字 的 一 种 技 术 。 如 果 我 们 将 V Q 应 用 在 自 编 码 器 的 中 间 层 ， 那 么 可 以 在 压 缩 输 入 大 小 的 同 时 ， 让 编 码 结 果 成 为 一 个 离 散 的 整 数 序 列 。 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 无 监 督 , 生 成 模 型 , 编 码 , 梯 度 阅 读 全 文 4 评 论 2 2 O c t 从 梯 度 最 大 化 看 A t t e n t i o n 的 S c a l e 操 作 B y 苏 剑 林 | 2 0 2 3 1 0 2 2 | 5 2 7 7 位 读 者 | 引 用 我 们 知 道 ， S c a l e d D o t P r o d u c t A t t e n t i o n 的 S c a l e 因 子 是 $ \ \ f r a c } $ ， 其 中 $ d $ 是 $ \ \ b o l d s y m b o l , \ \ b o l d s y m b o l $ 的 维 度 。 这 个 S c a l e 因 子 的 一 般 解 释 是 ： 如 果 不 除 以 $ \ \ s q r t $ ， 那 么 初 始 的 A t t e n t i o n 就 会 很 接 近 o n e h o t 分 布 ， 这 会 造 成 梯 度 消 失 ， 导 致 模 型 训 练 不 起 来 。 然 而 ， 可 以 证 明 的 是 ， 当 S c a l e 等 于 0 时 同 样 也 会 有 梯 度 消 失 问 题 ， 这 也 就 是 说 S c a l e 太 大 太 小 都 不 行 。 那 么 多 大 的 S c a l e 才 适 合 呢 ？ $ \ \ f r a c } $ 是 最 佳 的 S c a l e 了 吗 ？ 本 文 试 图 从 梯 度 角 度 来 回 答 这 个 问 题 。 已 有 结 果 在 《 浅 谈 T r a n s f o r m e r 的 初 始 化 、 参 数 化 与 标 准 化 》 中 ， 我 们 已 经 推 导 过 标 准 的 S c a l e 因 子 $ \ \ f r a c } $ ， 推 导 的 思 路 很 简 单 ， 假 设 初 始 阶 段 $ \ \ b o l d s y m b o l , \ \ b o l d s y m b o l \ \ i n \ \ m a t h b b ^ d $ 都 采 样 自 “ 均 值 为 0 、 方 差 为 1 ” 的 分 布 ， 那 么 可 以 算 得 \ \ b e g i n \ \ m a t h b b a r [ \ \ b o l d s y m b o l \ \ c d o t \ \ b o l d s y m b o l ] = d \ \ e n d 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究 , 信 息 时 代     标 签 ： 优 化 , 梯 度 , a t t e n t i o n 阅 读 全 文 1 评 论 1 6 O c t 随 机 分 词 再 探 ： 从 V i t e r b i S a m p l i n g 到 完 美 采 样 算 法 B y 苏 剑 林 | 2 0 2 3 1 0 1 6 | 4 7 3 4 位 读 者 | 引 用 在 文 章 《 随 机 分 词 浅 探 ： 从 V i t e r b i D e c o d i n g 到 V i t e r b i S a m p l i n g 》 中 ， 笔 者 提 出 了 一 种 名 为 “ V i t e r b i S a m p l i n g ” 的 随 机 分 词 算 法 ， 它 只 是 在 求 最 优 解 的 V i t e r b i D e c o d i n g 基 础 上 进 行 小 修 改 ， 保 留 了 V i t e r b i 算 法 的 简 单 快 速 的 特 点 ， 相 比 于 已 有 的 S u b w o r d R e g u l a r i z a t i o n 明 显 更 加 高 效 。 不 过 ， 知 乎 上 的 读 者 @ 鶴 舞 指 出 ， 当 前 的 采 样 算 法 可 能 会 在 多 次 二 选 一 “ 稀 释 ” 了 部 分 方 案 的 出 现 概 率 ， 直 接 后 果 是 原 本 分 数 最 高 的 切 分 并 不 是 以 最 高 概 率 出 现 。 经 过 仔 细 思 考 后 ， 笔 者 发 现 相 应 的 问 题 确 实 存 在 ， 当 时 为 了 尽 快 得 到 一 种 新 的 采 样 算 法 ， 在 细 节 上 的 思 考 和 处 理 确 实 比 较 粗 糙 。 为 此 ， 本 文 将 进 一 步 完 善 V i t e r b i S a m p l i n g 算 法 ， 并 证 明 完 善 后 的 算 法 在 效 果 上 可 以 跟 S u b w o r d R e g u l a r i z a t i o n 等 价 的 。 问 题 分 析 首 先 ， 我 们 来 看 一 下 评 论 原 话 ： 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 概 率 , 随 机 , 优 化 , 分 词 , 采 样 阅 读 全 文 1 评 论 1 3 O c t E M O ： 基 于 最 优 传 输 思 想 设 计 的 分 类 损 失 函 数 B y 苏 剑 林 | 2 0 2 3 1 0 1 3 | 7 8 0 4 位 读 者 | 引 用 众 所 周 知 ， 分 类 任 务 的 标 准 损 失 是 交 叉 熵 （ C r o s s E n t r o p y ， 等 价 于 最 大 似 然 M L E ， 即 M a x i m u m L i k e l i h o o d E s t i m a t i o n ） ， 它 有 着 简 单 高 效 的 特 点 ， 但 在 某 些 场 景 下 也 暴 露 出 一 些 问 题 ， 如 偏 离 评 价 指 标 、 过 度 自 信 等 ， 相 应 的 改 进 工 作 也 有 很 多 ， 此 前 我 们 也 介 绍 过 一 些 ， 比 如 《 再 谈 类 别 不 平 衡 问 题 ： 调 节 权 重 与 魔 改 L o s s 的 对 比 联 系 》 、 《 如 何 训 练 你 的 准 确 率 ？ 》 、 《 缓 解 交 叉 熵 过 度 自 信 的 一 个 简 明 方 案 》 等 。 由 于 L L M 的 训 练 也 可 以 理 解 为 逐 t o k e n 的 分 类 任 务 ， 默 认 损 失 也 是 交 叉 熵 ， 因 此 这 些 改 进 工 作 在 L L M 流 行 的 今 天 依 然 有 一 定 的 价 值 。 在 这 篇 文 章 中 ， 我 们 介 绍 一 篇 名 为 《 E M O : E a r t h M o v e r D i s t a n c e O p t i m i z a t i o n f o r A u t o R e g r e s s i v e L a n g u a g e M o d e l i n g 》 的 工 作 ， 它 基 于 最 优 传 输 思 想 提 出 了 新 的 改 进 损 失 函 数 E M O ， 声 称 能 大 幅 提 高 L L M 的 微 调 效 果 。 其 中 细 节 如 何 ？ 让 我 们 一 探 究 竟 。 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 概 率 , 优 化 , 损 失 函 数 , 最 优 传 输 阅 读 全 文 1 4 评 论 8 O c t 预 训 练 一 下 ， T r a n s f o r m e r 的 长 序 列 成 绩 还 能 涨 不 少 ！ B y 苏 剑 林 | 2 0 2 3 1 0 0 8 | 6 9 2 7 位 读 者 | 引 用 作 为 L L M 的 主 流 模 型 架 构 ， T r a n s f o r m e r 在 各 类 任 务 上 的 总 体 表 现 都 出 色 ， 大 多 数 情 况 下 ， T r a n s f o r m e r 的 槽 点 只 是 它 的 平 方 复 杂 度 ， 而 不 是 效 果 — — 除 了 一 个 名 为 L o n g R a n g e A r e n a （ 下 面 简 称 L R A ） 的 B e n c h m a r k 。 一 直 以 来 ， L R A 一 直 是 线 性 R N N 类 模 型 的 “ 主 场 ” ， 与 之 相 比 T r a n s f o r m e r 在 上 面 有 明 显 的 差 距 ， 以 至 于 让 人 怀 疑 这 是 否 就 是 T r a n s f o r m e r 的 固 有 缺 陷 。 不 过 ， 近 日 论 文 《 N e v e r T r a i n f r o m S c r a t c h : F a i r C o m p a r i s o n o f L o n g S e q u e n c e M o d e l s R e q u i r e s D a t a D r i v e n P r i o r s 》 将 这 “ 缺 失 的 一 环 ” 给 补 齐 了 。 论 文 指 出 ， 缺 乏 预 训 练 是 T r a n s f o r m e r 在 L R A 上 效 果 较 差 的 主 要 原 因 ， 而 所 有 架 构 都 可 以 通 过 预 训 练 获 得 一 定 的 提 升 ， T r a n s f o r m e r 的 提 升 则 更 为 明 显 。 旧 背 景 L o n g R a n g e A r e n a （ L R A ） 是 长 序 列 建 模 的 一 个 B e n c h m a r k ， 提 出 自 论 文 《 L o n g R a n g e A r e n a : A B e n c h m a r k f o r E f f i c i e n t T r a n s f o r m e r s 》 ， 从 论 文 标 题 就 可 以 看 出 ， L R A 是 为 了 测 试 各 种 E f f i c i e n t 版 的 T r a n s f o r m e r 而 构 建 的 ， 里 边 包 含 了 多 种 类 型 的 数 据 ， 序 列 长 度 从 1 k 到 1 6 k 不 等 ， 此 前 不 少 E f f i c i e n t T r a n s f o r m e r 的 工 作 也 都 在 L R A 进 行 了 测 试 。 虽 然 在 代 表 性 方 面 有 些 争 议 ， 但 L R A 依 然 不 失 为 一 个 测 试 E f f i c i e n t T r a n s f o r m e r 的 长 序 列 能 力 的 经 典 B e n c h m a r k 。 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 语 言 模 型 , a t t e n t i o n 阅 读 全 文 2 评 论 2 6 S e p 脑 洞 大 开 ： 非 线 性 R N N 居 然 也 可 以 并 行 计 算 ？ B y 苏 剑 林 | 2 0 2 3 0 9 2 6 | 8 3 7 2 位 读 者 | 引 用 近 年 来 ， 线 性 R N N 由 于 其 可 并 行 训 练 以 及 常 数 推 理 成 本 等 特 性 ， 吸 引 了 一 定 研 究 人 员 的 关 注 （ 例 如 笔 者 之 前 写 的 《 G o o g l e 新 作 试 图 “ 复 活 ” R N N ： R N N 能 否 再 次 辉 煌 ？ 》 ） ， 这 让 R N N 在 T r a n s f o r m e r 遍 地 开 花 的 潮 流 中 仍 有 “ 一 席 之 地 ” 。 然 而 ， 目 前 看 来 这 “ 一 席 之 地 ” 只 属 于 线 性 R N N ， 因 为 非 线 性 R N N 无 法 高 效 地 并 行 训 练 ， 所 以 在 架 构 之 争 中 是 “ 心 有 余 而 力 不 足 ” 。 不 过 ， 一 篇 名 为 《 P a r a l l e l i z i n g N o n L i n e a r S e q u e n t i a l M o d e l s o v e r t h e S e q u e n c e L e n g t h 》 的 论 文 有 不 同 的 看 法 ， 它 提 出 了 一 种 迭 代 算 法 ， 宣 传 可 以 实 现 非 线 性 R N N 的 并 行 训 练 ！ 真 有 如 此 神 奇 ？ 接 下 来 我 们 一 探 究 竟 。 求 不 动 点 原 论 文 对 其 方 法 做 了 非 常 一 般 的 介 绍 ， 而 且 其 侧 重 点 是 P D E 和 O D E ， 这 里 我 们 直 接 从 R N N 入 手 。 考 虑 常 见 的 简 单 非 线 性 R N N ： \ \ b e g i n x _ t = \ \ t a n h ( A x _ + u _ t ) \ \ l a b e l \ \ e n d 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究 , 信 息 时 代     标 签 ： 方 程 , 迭 代 , 语 言 模 型 , R N N 阅 读 全 文 1 3 评 论 2 0 S e p 自 然 数 集 中 N = a b + c 时 a + b + c 的 最 小 值 B y 苏 剑 林 | 2 0 2 3 0 9 2 0 | 8 6 3 8 位 读 者 | 引 用 前 天 晚 上 微 信 群 里 有 群 友 提 出 了 一 个 问 题 ： 对 于 一 个 任 意 整 数 $ N > 1 0 0 $ ， 求 一 个 近 似 算 法 ， 使 得 $ N = a \ \ t i m e s b + c $ （ 其 中 $ a , b , c $ 都 是 非 负 整 数 ） ， 并 且 令 $ a + b + c $ 尽 量 地 小 。 初 看 这 道 题 ， 笔 者 第 一 感 觉 就 是 “ 这 还 需 要 算 法 ？ ” ， 因 为 看 上 去 自 由 度 太 大 了 ， 应 该 能 求 出 个 解 析 解 才 对 ， 于 是 简 单 分 析 了 一 下 之 后 就 给 出 了 个 “ 答 案 ” ， 结 果 很 快 就 有 群 友 给 出 了 反 例 。 这 时 ， 笔 者 才 意 识 到 这 题 并 非 那 么 平 凡 ， 随 后 正 式 推 导 了 一 番 ， 总 算 得 到 了 一 个 可 行 的 算 法 。 正 当 笔 者 以 为 这 个 问 题 已 经 结 束 时 ， 另 一 个 数 学 群 的 群 友 精 妙 地 构 造 了 新 的 参 数 化 ， 证 明 了 算 法 的 复 杂 度 还 可 以 进 一 步 下 降 ！ 整 个 过 程 波 澜 起 伏 ， 让 笔 者 获 益 匪 浅 ， 遂 将 过 程 记 录 在 此 ， 与 大 家 分 享 。 点 击 阅 读 全 文 . . . 分 类 ： 数 学 研 究 , 问 题 百 科     标 签 ： 最 优 , 问 题 阅 读 全 文 1 2 评 论 1 6 S e p 随 机 分 词 浅 探 ： 从 V i t e r b i D e c o d i n g 到 V i t e r b i S a m p l i n g B y 苏 剑 林 | 2 0 2 3 0 9 1 6 | 7 1 0 4 位 读 者 | 引 用 上 一 篇 文 章 《 大 词 表 语 言 模 型 在 续 写 任 务 上 的 一 个 问 题 及 对 策 》 发 布 后 ， 很 快 就 有 读 者 指 出 可 以 在 训 练 阶 段 引 入 带 有 随 机 性 的 分 词 结 果 来 解 决 同 样 的 问 题 ， 并 且 已 经 有 论 文 和 实 现 。 经 过 进 一 步 查 阅 学 习 ， 笔 者 发 现 这 是 一 个 名 为 S u b w o r d R e g u l a r i z a t i o n 的 技 巧 ， 最 早 应 用 在 N M T （ 机 器 翻 译 ） 中 ， 目 前 S e n t e n c e P i e c e 也 有 相 应 的 实 现 。 看 起 来 这 个 技 巧 确 实 能 缓 解 前 述 问 题 ， 甚 至 有 助 于 增 强 语 言 模 型 的 容 错 能 力 ， 所 以 就 有 了 将 它 加 进 去 B y t e P i e c e 的 想 法 。 那 么 问 题 来 了 ， 如 何 将 确 定 性 分 词 改 为 随 机 性 分 词 呢 ？ B y t e P i e c e 是 基 于 U n i g r a m 模 型 的 ， 它 通 过 V i t e r b i 算 法 找 最 大 概 率 的 分 词 方 案 ， 既 然 有 概 率 ， 是 否 就 可 以 自 然 地 导 出 随 机 采 样 ？ 本 文 来 讨 论 这 个 问 题 ， 并 分 享 自 己 的 解 决 方 案 。 点 击 阅 读 全 文 . . . 分 类 ： 信 息 时 代     标 签 ： 概 率 , 随 机 , 分 词 , 新 词 发 现 阅 读 全 文 1 评 论 1 2 3 4 . . . 1 4 7 » 关 于 站 长 苏 剑 林 | B o J o n e ， 科 学 空 间 博 主 ， 数 学 、 天 文 、 理 论 物 理 、 写 作 、 阅 读 、 计 算 机 、 中 国 象 棋 、 厨 房 爱 好 者 . . . . . . 目 前 3 0 岁 ， 还 在 单 调 递 增 。 希 望 能 一 直 在 此 分 享 科 学 之 美 ～ 你 也 许 会 关 心 ： 科 学 空 间 | S c i e n t i f i c S p a c e s 介 绍 科 学 空 间 Q Q 交 流 群 ： 8 0 8 6 2 3 9 6 6 科 学 空 间 微 信 交 流 群 ： s p a c e s _ a c _ c n 常 见 问 题 集 ： 《 科 学 空 间 F A Q 》 智 能 搜 索 支 持 整 句 搜 索 ！ 网 站 自 动 使 用 结 巴 分 词 进 行 分 词 ， 并 结 合 n g r a m s 排 序 算 法 给 出 合 理 的 搜 索 结 果 。 热 门 标 签 模 型 语 言 模 型 生 成 模 型 优 化 a t t e n t i o n 概 率 网 站 转 载 天 象 深 度 学 习 微 分 方 程 积 分 p y t h o n 分 析 力 学 无 监 督 节 日 几 何 梯 度 文 本 生 成 数 论 矩 阵 G A N 生 活 情 感 最 新 文 章 简 单 得 令 人 尴 尬 的 F S Q ： “ 四 舍 五 入 ” 超 越 了 V . . . 从 梯 度 最 大 化 看 A t t e n t i o n 的 S c a l e 操 作 随 机 分 词 再 探 ： 从 V i t e r b i S a m p l i . . . E M O ： 基 于 最 优 传 输 思 想 设 计 的 分 类 损 失 函 数 预 训 练 一 下 ， T r a n s f o r m e r 的 长 序 列 成 . . . 脑 洞 大 开 ： 非 线 性 R N N 居 然 也 可 以 并 行 计 算 ？ 自 然 数 集 中 N = a b + c 时 a + . . . 随 机 分 词 浅 探 ： 从 V i t e r b i D e c o d i . . . 大 词 表 语 言 模 型 在 续 写 任 务 上 的 一 个 问 题 及 对 策 B y t e P i e c e ： 更 纯 粹 、 更 高 压 缩 率 的 T o . . . 最 近 评 论 龙 行 : 苏 神 这 里 第 二 个 式 子 少 了 一 个 负 号 。 这 里 如 果 用 D D P M 的 p ( x t | x 0 ) 再 反 推 一 遍 f _ t ， 然 后 结 . . . Z Z Z Z : 看 见 苏 神 都 要 花 几 天 推 导 ， 已 经 推 了 一 周 的 我 放 心 了 g a u s s c l b : 苏 神 ， $ \ \ b o l d s y m b o l ( \ \ b o l d s y m b o l , \ \ b o l d s y m b o l . . . w i n s t o n m : 感 谢 。 。 。 k e r r y : m a c o s 下 的 e d g e 也 遇 到 了 部 分 字 符 无 法 渲 染 的 问 题 ， 而 且 大 部 分 公 式 渲 染 的 效 果 要 比 w i n d o w . . . L e e C h u a i : 叠 词 ， 精 辟 ！ L e e C h u a i : 老 师 你 好 ， E M O 和 R A G 是 不 是 比 较 类 似 ？ s c o f i e l d : 苏 神 ， 如 果 说 我 想 获 取 s p a n 的 表 征 ， 该 如 何 操 作 呢 ， 是 把 经 过 R O P E 的 q w 和 k w 拼 接 起 来 作 为 这 个 . . . h u n g : 请 教 苏 神 ， 初 始 化 是 希 望 方 差 1 的 输 入 经 过 该 层 后 方 差 仍 是 1 ， 包 括 标 准 化 也 是 强 制 约 束 成 方 差 1 ； 那 是 不 . . . z c j 5 9 1 8 : 确 实 可 以 ， 我 试 了 一 下 ， 如 果 加 入 了 类 似 复 数 向 量 模 长 这 种 概 念 ， 好 像 他 也 满 足 很 多 经 典 的 傅 里 叶 变 换 的 性 . . . 友 情 链 接 宇 宙 驿 站 数 学 研 发 S e a t o p X i a o x i a 积 分 表 网 络 版 丝 路 博 傲 p h 4 n t a s y 饭 特 稀 数 学 之 家 有 趣 天 文 奇 观 b s k y T w i s t e d W g o d w e i y a n g A I 柠 檬 王 登 科 D K 博 客 E S O N 枫 之 羽 M a t h o r s b l o g 孙 云 增 的 博 客 c o d i n g z u o 博 科 园 孔 皮 皮 的 博 客 运 鹏 的 博 客 j i m i n g . s i t e 申 请 链 接 本 站 采 用 创 作 共 用 版 权 协 议 ， 要 求 署 名 、 非 商 业 用 途 和 保 持 一 致 。 转 载 本 站 内 容 必 须 也 遵 循 “ 署 名 非 商 业 用 途 保 持 一 致 ” 的 创 作 共 用 协 议 。 © 2 0 0 9 2 0 2 3 S c i e n t i f i c S p a c e s . A l l r i g h t s r e s e r v e d . T h e m e b y l a o g u i . P o w e r e d b y T y p e c h o . 备 案 号 : 粤 I C P 备 0 9 0 9 3 2 5 9 号 1 / 2 。

• 发布评论