meta 新研究可让大模型自动屏蔽无关信息的数据「Meta 新研究可让大模型自动屏蔽无关信息」

通信世界网消息（CWW）Meta 近日公布了一项关于注意力机制的新研究。该研究团队将这种新注意力机制命名为“System 2 Attention”（S2A），可屏蔽无关信息的干扰，将大模型的准确率进一步提升。根据测试结果，该机制不需要微调或训练，只靠 Prompt 就能让大模型的准确率上升 27%。

S2A通过提示词对Transformer中的注意力机制进行了“调节”，使模型整体上的思考方式更接近复杂、有意识的推理。