论文研究普通
Inkling 2 Mini 循环 Transformer 可监控性研究
原始标题:Inkling 2 Mini is a looped transformer with 24 layers. The middle 12 layers loop three times; the first and last six run once.
内容摘要
Inkling 2 Mini 是一个 24 层的循环 Transformer。中间 12 层循环三次;首尾各六层只运行一次。 循环让模型在少写的同时进行更多推理,这引发了对可监控性的担忧。我们在发布过程中对此进行了研究。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Thinking Machines (@thinkymachines)
站内情报编号intel-c55af1feb697ee40c5fb044e