产品发布 / 更新普通
Google Cloud 在 TPU 上为 MaxText 推出长上下文训练支持
原始标题:Announcing Long-Context Training on TPUs with MaxText Context Parallelism
内容摘要
Google Cloud 开源 JAX 训练框架 MaxText 新增长上下文训练支持,通过 All-gather、A2A、P2P 及 A2A+P2P 混合四种上下文并行策略,在 Cloud TPU 上实现超长序列训练。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Google Developers Blog(RSS)
站内情报编号intel-ccde44cf5333e7142407af15