自然语言是地基吗、Agent评测难点与科技审美

分享三点片段化思考，分别是关于vibe coding，agent系统的难点和科技领域审美方法论的。

最近看到了这样一种观点：高级语言没出来的时候大家都在用汇编语言写代码，高级语言出来之后开发效率碾压了汇编语言，之前写汇编语言的那些古法派说不会写汇编语言就是完蛋了，但现在大部分的场景确实不需要掌握汇编语言，现在vibe coding火了，很多人认为自然语言就是新的更高级封装的编程语言，声称无需掌握高级语言了，直接自然语言不断说需求就行，声称今天还在说高级语言必须学的也和当年汇编语言必须学是一码事。

并非一码事。

高级语言到汇编语言的转换，汇编语言到机器指令的转换，其编译过程是100%确定的，但自然语言向高级语言的切换，生成模型作为编译器，本身就是一个概率的事情，是不确定的。而且，对于SE这样一个严谨的数据流，状态转换机来说，在数学上是严谨的，数学已经告诉我们数学语言是符号化的，才能支持整个数学大厦。用自然语言终究是模糊的，终究无法支撑整个符号系统。code也是如此。自然语言永远也做不了那个确定性的系统的地基。所以掌握高级语言仍然是非常重要的。另外，汇编语言也非常重要，只是大多数场景下确实无需使用汇编语言，对于大多数场景的从业者，当然没必要一定掌握，不过对于量化等场景汇编语言非常重要，所以不仅要看确定性，还要看场景和需求本身。不同的语言终归是技术，什么技术没有高下之分，但有基于场景和需求的重要程度之分。

所以只掌握自然语言，就想做工程，行不通。别拿汇编和高级语言的例子反驳了。

Agent系统，最难的地方是evaluation。做工程和做研究，核心差别也在evaluation。工程是我的这个东西，是否work了，work的好不好，要写test。研究是，我要先懂研究场景的需求和业务，定义问题，然后做广泛而全面的evaluation dataset计划，然后把系统和evaluation之间如何搭配使用的接口定义出来，然后一方面系统work起来，以尽量满足evaluation的要求，另一方面evaluation的实现也要适配现有的系统，并不断优化evaluation。这个过程有点像RL，系统本身actor不够，还要有evaluation这个critic，并且actor和critic本身就在互相扶持着协同进化。

很多人觉得Agent系统简单，大错特错。Agent系统我认为难在以下几个方面。一是Agent系统不仅需要懂技术，还要懂业务，懂产品。二是evaluation特别难，因为evaluation是个技术和业务的大杂烩，都要懂。今天很多agent系统，不写evaluation，觉得是工程就行了，能work就行了，这样的agent系统缺乏长期迭代优化的能力。三是搭建一套可以持续学习，持续进化，监控到位，资源和通信开销小的infra并不容易，要有training的信号（参数化学习，rl或者opd）的监控，也要有harness的infra本身不断迭代的同时还要适配evaluation的接口设计，有些场景还要求有network和os方面的开销优化，对算法和infra能力都提出了严峻挑战。

看了无数个人强调审美和品味了。我还是想再强调强调。我认为人的核心能力是审美和品味。知道什么东西好，知道什么东西不好，这种判断力就是审美和品味。很多人说的审美是judge自己工程和研究的审美，我当然赞同。我更想聊一聊，产品外观的审美。我很喜欢kimi和anthropic产品外观的审美，因为我觉得科技领域，科技产品的审美，一定要走简洁大气风，再聪明点，结合上艺术。kimi的小篮球配上简单的两只白色眼睛，配上音乐文化的vibe，anthropic简单的全橙色的像素小章鱼（也许是章鱼🐙？），简直把产品力做到了我的心坎里。事实证明，审美好的公司，产品的体验也好，这两家的产品，模型，我用得都非常舒服。在这里我想点名批评minimax，我认为一个产品的用户有权利批评产品本身。我看到minimax的宣发，无论是官网，还是推特，竟然架构图在用excalidraw去绘制，宣传。我认为场景错了。excalidraw画架构图没问题，但这种手绘感强的风格，说明架构还没定型，有快速迭代的潜力，还是适合闭门会议，小型技术汇报，内部组会等没那么官方的场景使用。但作为商业场景的宣发，自己的社媒和官网上的图片还是excalidraw的手绘图，而不是更学术化风格的架构图，我认为就有失偏颇了，这是审美的问题。现在minimax的模型也确实没有kimi和anthropic给我的感觉舒服，希望minimax能继续加油进步，给我们带来更好的体验。以上就是最近一些感悟。