• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Deking
V2EX  ›  程序员

BN 中一开始先进行归一化处理,然后使用 gamma 和 beta 调整,那为什么一开始不直接使用 gamma 和 beta 调整呢

  •  
  •   Deking · Jun 30, 2023 · 1023 views
    This topic created in 1076 days ago, the information mentioned may be changed or developed.

    RT ,BN 中一开始先进行归一化处理,然后使用 gamma 和 beta 调整,那为什么一开始不直接使用 gamma 和 beta 调整呢

    txhwind
        1
    txhwind  
       Jun 30, 2023
    方便描述和模型训练。实际推理部署的时候一般都是融合到一起了。
    paidaxtis
        2
    paidaxtis  
       Jun 30, 2023
    归一化是归一化,gamma 和 beta 调整是 gamma 和 beta 调整。一开始直接使用不是跳过归一化了吗?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5339 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 176ms · UTC 09:10 · PVG 17:10 · LAX 02:10 · JFK 05:10
    ♥ Do have faith in what you're doing.