AI圈报
模型发布 / 更新普通

GPT-6 Astra 传采用循环 Transformer,不增参数只加深度

信息来源:X:SemiAnalysis (@SemiAnalysis_)·
原始标题:GPT-6 Astra reportedly gets deeper without getting bigger. The labs already know what that means for…

内容摘要

据称 GPT-6 Astra 采用 loop transformers,不再增加参数量,而是让模型多次经过同一批层,以增加计算深度而非模型规模。SemiAnalysis 认为,实验室最清楚模型扩展方向,这一选择暗示他们在路线图和研究中对参数规模的扩展预期已不再激进。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:SemiAnalysis (@SemiAnalysis_)
站内情报编号intel-4c5dcac2b2b2b39a03942909