神经网络架构简史与Agent思维架构的未来

【【中字】老外玩家揭秘JEPA能否超越LLM-哔哩哔哩】 https://b23.tv/pl5sRAt ​ ​之前偶然刷到这个视频，觉得是看过所有的视频里质量最高的几个，短短半个小时承载了神经网络的历史[强]，如果有计划把这些工作都复现一遍，对神经网络的理解肯定会更加深刻！

另外，提到架构设计，神经网络的架构设计更像是我先入为主假定每个网络的期望角色，然后去训练期望网络能像预定角色一样发挥作用，最近发现未来的“石油”很可能是agent的思维方式架构设计（或者叫上下文协议设计），这种思维结构设计对于每个思维模块也是假定模型按照期望的方式思考推理，有异曲同工之妙。在react的基础上做更多的思维逻辑设计，这一块未来很可能会像神经网络的架构一样，百花齐放！感觉大家还是更多关注在react固定的reasoning，action，observation的宏观顺序上，大量去作应用，但是我觉得未来发展到一定瓶颈了，大家一定又会把精力放到agent思维的架构上，那时候agent的上限比现在大部分的React Agent又要高很多。react在long horizon的任务上已经暴露出局限性，我觉得可能要打破一个思维惯式，就是模型不一定要遵循现在的这套agent协议和思考方式，或许有效设计比react更有效的思考方式，agent上限会更高。