Looped Transformer

商汤开源9B循环架构模型，公布复杂任务评测结果

据IT之家11月1日报道，商汤科技于10月30日宣布开源商汤日日新SenseNova Loop-9B-Preview。该模型采用Looped Transformer架构，通过循环计算扩展有效计算深度。官方称，其以9B参数规模实现了可媲美27B参数模型的表现。 具体做法是，以9B尺度模型为基座，保留首尾各4层原始解码器模块，将中间层改造为参数共享的循环计算模块，再通过多轮迭代扩展有效计算深度。