只需一步,快速开始
短信验证,便捷登录
军衔等级:
少尉
Lilian Weng OpenAI前安全研究副总裁 : 随着我们转向强化学习(RL)训练来加强AI的推理能力,我们最近发布了AI的五个等级,比如会话AI(聊天机器人)、推理AI、代理AI等。我们的确发现这能帮助AI在这个五层框架内,达到下一个水平,这也是为什么我们将模型系列重新命名为o1。 最近发布的o1整体模型,凭借在推理能力上的显著提升,展现出非常不错的结果,但在产品方面,我们仍需更多努力。
李沐 亚马逊前AI首席科学家;BosonAI创始人: 制作o1模型是因为大语言模型更多是即时生成的,如果想执行许多其他复杂的任务,你需要将其分解为多个任务,以便它们可以逐一完成,人们称之为代理或工作流。 而o1尝试自己解决问题,比如在后台将问题分解为小步骤。这时你需要权衡的是延迟的问题,因为后台处理可能需要花费一分钟。所以我认为对于特定的应用场景来说,这种做法肯定是有效的,特别是如果你不介意延迟的话。 我认为这种方法同时还很好地降低了成本:因为模型可以逐步执行很多步骤,这让模型训练变得更容易。所以,为了获得更好的推理质量,在延迟上做一部分牺牲。这很可能是一种趋势。
邱谆 (Jonathan Qiu) 华映资本海外合伙人: Tick-Tock的意思是左边是数据驱动,右边是规则驱动,两边会来回跳动。一会是用更好的数据集去训练它,但同时用更好的算法去推动它,所以就是在算法跟数据两边Tick-Tock(摇摆)。因为现在o1和o3更多的还是算法,但是之前包括 GPT 其实也是数据集的驱动。所以,在(数据和规则)这两边的摇摆的时候,应该会摇出下一个大的 breakthrough(突破)或者milestone(里程碑)。
邱谆 (Jonathan Qiu) 华映资本海外合伙人: 如果你是 AI application(应用),你就是Copilot(副驾驶);AI agent(智能体)是自动驾驶, Copilot 就是辅助驾驶。 很多application(应用)把自己叫agent之后没有在算法上面有真正的创新,也没有数据。如果就做agent,我个人觉得下一步还是要往数据的角度去走,agent也需要数据。我觉得下一步 2025 年,可能会在这几个层面。
Bill Jia 谷歌CORE ML/AI工程副总裁: 如果我们不算Gemini的模型,那么在业界现有的最好的大型语言模型,允许的Token(AI处理文本的单元)数量大约在10万到20万之间。假设一个token相当于一个单词,则大致可以包含总共10万到20万个词作为给AI的提示词。 而谷歌的Gemini模型将上下文窗口从最先进的20万扩展到了100万到1000万——这几乎是一个50倍到100倍的增长。对于大型语言模型来说,这个上下文窗口实际上是一项非常有用的技术:上下文窗口越大,你可以向模型提供的输入就越多。
Gemini模型在实际应用时,就能够支持这样一个巨大的上下文窗口,因此,我们可以将大量相关信息输入Gemini,这样一来,对话就会感觉非常在点子上。这也是Gemini模型能够产生非常好对话效果的部分原因。
邱谆 (Jonathan Qiu) 华映资本海外合伙人: 你可以理解他是个产品创新。NotebookLM是Google Labs出来的,但Google自己是有底座模型的。Notebook LM用的底座其实也不是Google Gemini,而是谷歌自己内部的一个定制化底座。所以,如果你不是那么懂底座,纯第三方的来用谷歌Gemini API,你未必能做得出来NotebookLM。 产品创新之上要结合对底座的理解,不然光是产品创新,我觉得可能不能跑得特别远。
邱谆 (Jonathan Qiu) 华映资本海外合伙人: 所以你怎么去把控这个节奏?我觉得Perplexity这家公司其实还是把控得很不错的:他到今天也没有完全重新训练自己的底座。我觉得他会有那么一天的,但是他要把握这个节奏,别步子迈得过大,还没到那一天的时候,就已经把钱给烧完了。这个是比较危险的,也是 AI 创业比互联网可能更难一点的地方。
邱谆 (Jonathan Qiu) 华映资本海外合伙人: 2024 年最大的进展,我会投给o1和π0。 我觉得π0更多是 training data driven(数据驱动)的路线;o1更代表的是algorithm(算法)驱动的路线。 π0肯定也要在算法上继续做迭代,也可能在推理侧引入一些方法。当然难一点就是推理,因为具身智能的推理侧要在端侧发生,可能对算力的要求会更高一些。
马腾宇 VOYAGE AI创始人 斯坦福大学计算机科学与统计学助理教授: 我一直都在期待更好的技术,不一定要GPT-5,也可能是Anthropic Claude的4、5、6代,或者是xAI、Mistral。 我认为,虽然现阶段的GPT-4可以做的事越来越多了,但是更大、更强的模型在某种意义上会让模型的使用变得更容易。所以,如果有了GPT-5或者Claude 4、5,那么基于GPT-4的一些自我工程可能就不再必要了。
Bill Jia 谷歌CORE ML/AI工程副总裁: 对于那些有资本、有资源、有工程能力的大公司来说,他们会继续构建大模型。大模型在很多不同方面表现得更好,特别是在通用场景中。 然后基于大模型,人们会构建各种不同的垂直模型。刚开始垂直模型也比较大,但随着包括蒸馏模型、量化模型等技术,模型会变得更小但是更有效率、更有性价比,而且模型质量不会下降太多。 我认为这两条主线将会持续很长一段时间,希望有第三种并行努力的方向,那就是寻找不同的模型架构,因为现在的模型基本都是基于Transformer的,还有一些基于diffusion模型用于生成图像等中间工作。我希望能有其他非transformer、非diffusion的模型架构出现,让生成结果更有效、更高质量、同时降低成本。如果在这方面能有所突破,将再次对AI行业产生巨大的影响。
0 举报本楼
发表回复 回帖后跳转到最后一页
版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图
GMT+8, 2025-1-22 15:57 , Processed in 0.725813 second(s), 17 queries , Gzip On.
Copyright © 1999-2023 C114 All Rights Reserved
Discuz Licensed