VLA的核心思想架构与数据流图

总结了一下VLA的核心思想架构和数据流图,VLA本质就是，有多模态传感器经过encoder为f-world,然后把f-world给到agent和policy decoder,然后agent推理给出一个条件向量，policy decoder根据f-world和条件向量开始精确执行当前环境状态下agent的意图（动作参数精确到数字），然后agent接下来会周期短频收到增量的来自encoder的f-world，以及会事件驱动收到policy decoder的中断信号，如果是前者，agent可能会产生新的条件向量，然后让policy decoder下次迭代用这个新的条件向量继续执行，也可能暂时不产生新的条件向量；如果是后者，一定产生一个新的条件向量，让policy decoder下次迭代用这个新的条件向量继续执行（重启）。每个f-world标上时间戳和ID，每个条件向量的产生时间戳也被保存到Agent的上下文里，条件向量产生的原因f-world（base-on）也是被保存到Agent的上下文里，还有他自己的新的独特分配的id之类的，是否处于激活状态。agent的上下文机制可以精细设计管理，是否让Agent，让Agent看多少以及何时让Agent看到：每条历史上所有的f-world和历史上所有的条件向量及其相关信息。

VLA是一个很工程的系统，不只是一个简单的算法模型，还有工程上的异步状态机、异步通信、时序管理等概念需要理清。

这个policy decoder现在基本就用flow matching做。

这个encoder用3d高斯来做是最好的目前，效率啥的都很高，也最好训，尤其是前馈3d高斯，是当前的世界前沿，质量高，关键是速度极快，李飞飞他们就是在搞这个。这个比点云，mesh等方法快多了，是他们的现代替代。

这些都是从邓博那里偷来的知识哈哈哈。

邓侃太厉害了，邓和吴恩达是同一个老师的同门弟子，吴恩达是他师弟，吴恩达和邓之前是好同学在cmu。邓和anthropic的老板dario在百度是同事，邓说dario话那时候就很多，邓和吴恩达当时都是在百度的两个部门的头头，dario就是吴恩达那个部门下的。邓的老师是CMU的CS院的院长，hinton和lecun都是他们实验室的好朋友，好像是hinton还是哪位图灵奖得主来着还穿着拖鞋来他们实验室交流学术过。