Character.AI创始人Noam，用技术发现了一个产品新大陆，但没有好的产品团队，就无法占领这个新大陆。
去年AI领域的注意力在大模型，今年变成了AI应用，Character.AI（下称C.AI）是最出圈的AI应用，甚至没有之一。
在AI陪聊这个赛道，C.AI跑得最快、最早，今年7月份最新日活数据是600万，平均用户时长在2个小时。即便是放在整个社交陪伴赛道，有这么长用户时长的应用，也不多，放在AI应用里，更是寥寥。
意外的是，8月3日，Character.AI在官方博客文章中，宣布与Google达成协议，包括两位创始人在内的30位员工加入Google，剩余大部分团队留在C.AI，继续打造产品。作为条件，Google以C.AI此前10亿美元估值的2.5倍，向C.AI投资方兑现投资回报。
近日，极客公园邀请硅基流动联合创始人&CEO袁进辉、创新工场联合首席执行官&管理合伙人汪华，与极客公园创始人&总裁张鹏对这一话题进行了探讨，细致拆解了从C.AI到近一年来AI创业圈的热点案例与未来走向。
张鹏：进辉是最早投身AGI浪潮的创业者，不管是之前的“光年之外”，还是现在的创业项目“硅基流动”。我相信Character.AI（下称C.AI）推出时，你肯定研究过。那时，你对C.AI此公司、对创始人，有哪些观察和理解？
袁进辉：我关注Character.AI确实比较早，因为创始人Noam Shazeer既是学界大咖，在Google的声望也很厚，所以一直有研究这个公司的走向。
最早关注到，引起Transformer革命的这样一个科学家，为啥不在大厂里追寻科学的制高点，而是要出去创业做产品，做一个通用AI（AGI）的公司。某些特定的程度上，他的出发点是对Google的产品动作、节奏的不满，希望有更好的自主性、灵活性。
Noam团队做出的Character.AI，应该是最早有比较大流量的To C产品，非常接地气。我们做光年之外的那个阶段（2023年），很多人在研究“怎么做AI时代的Super App”，当时相当多人看好、相信、研究Character.AI的方向，它的确是一个标杆。
张鹏：一个这么有一定的影响力的创始人，做出给创投界很多信心和希望的标杆型AI应用。突然，就被“并购”了。你当时听到后的“内心戏”是怎样的？
袁进辉：我确实懵了一会儿。其实今年3月去参加英伟达GTC大会的时候，就听到C.AI有寻求被收购的想法，但是靴子一直没落地，当真正发生的时候，是有点意外。因为这对我们这个行业的从业者肯定会有所影响，比如，我觉得会影响“行业大气候”，像融资、大家的创业方向之类的。
后来琢磨了一会，我觉得它确实反映了一些比较底层的逻辑变化。比如更早的时候，很多公司在讲模型和应用的双轮驱动、产模一体等等。这个变化是，同时想搞好模型和应用是有一些挑战的。另外，C.AI公开信里面也认为开源模型已经可用了，能满足他们未来的产品需求，这也会对很多应用从业者有所启发。
但是从长期来说，我依旧是觉得整个行业处在非常早期的阶段。从很长的周期来看的话，这件事也是一个正常的波动。
张鹏：汪华怎么看Character.AI被“并购”？最早C.AI给你们留下什么印象和启发？
汪华：我相对熟悉C.AI，因为我跟开复之前都在Google工作，很多朋友也都认识Noam Shazeer。
Noam当时选择出来做C.AI，是当时Google不让他发布大模型产品——LaMDA。
其实Google做出LaMDA要比ChatGPT早很多，至少一年。当时Noam就想发布LaMDA，因为他想到真实用户里看这样的一个东西的反馈，因没有人类反馈，永远做不好。但是Google不让，所以有了Noam出走创业。
C.AI处于非常拧巴的状态已经有一段时间了，Character.AI做出了一个很好的产品，但其实是因为它的模型很强。去年4月份，我跟C.AI的同学有很多交流。那时候我就觉得有一些比较神奇的地方。比如去年4月，C.AI一共有21个人，其中20个都是算法和工程，没有产品经理、没有运营，剩下的一名员工相当于是行政之类的角色。
汪华：对，他们当时做产品，是由工程和算法来做。你会发现这样的产品的迭代绝大多数都是靠模型驱动的，并没有在产品的交互层面迭代，包括用户新的社交模式、客户的真实需求等，其实没有做太多。即便有一些升级也是常规动作，比如加各种语音、做商业化。所以它虽然是一个产品公司，但实际上并没有像一个产品公司那样运作。
第二，Noam其实对AGI很有兴趣，但他当时并没有趁去年的AI热潮、以模型公司的身份去融足够多的钱。
在C.AI这波变动之前，我有一些预感，这样做下去不对。如果做一个产品公司，C.AI没有按照，比如当年字节那样正儿八经的产品公司来做推荐算法。同时，Noam有非常强的意愿做AGI，手里又只有少数资源去做。
张鹏：很少能看到一个创业者，做了一个让世界惊艳的产品，但其实他并不是要做这样的产品，C.AI是他通向AGI的一个实验品，Noam真正的兴趣点在AGI。所以Noam是个什么样的人？
汪华：C.AI有两个创始人，但实话说，我觉得Google收购仅仅是为了Noam Shazeer一个人，虽然Daniel De Freitas也很厉害。当年Transformer论文的作者有8个人，但在我看来，实际上真正重要的就两位，一个是最原始提self-attention（自注意力机制）的Jakob Uszkoreit，另一个就是Noam，假如没有Noam进来，Transformer后来根本就做不出来。
他是超级工程师，既懂research（研究）又懂engineering（工程）。纯粹从他的实力来讲，他可完全是AI时代的Jeff Dean。所以Google花25亿美金买一个“Jeff Dean”回来，你觉得贵吗？
（备注：Jeff Dean，Google首席科学家，领导了Google多项关键技术的研发）
汪华：我自己觉得这里最大的疑问是，Noam回到Google后到底有没有空间？Google到底有没有把之前让Noam走，或者让Noam没法发挥空间的问题解决掉？假如没有，就算Noam回来了，他在Google体系里面做不了什么事，也是白搭。
其实他也是一个很有远见的人。当时做完Transformer之后，他就提出要把搜索、把整个互联网全部向量化、模型化。当时被认为过于极端，但现在大家再看这样的一个问题，是不是觉得这是必然的？
张鹏：Google里边确实就有能看到未来的人，但是看起来，一个庞大的组织却让这些人没能充分的发挥，终究是要出走，再请回来。你觉得Google能改变吗？给Noam一个充分的发挥的空间。
汪华：其实你跟Google一线的同学聊，哪怕到现在为止，任何一个人都是“槽多无口”的状态。
在我看来，这样的一个问题只有创始人能解决，但是实话说，我不是特别确认Larry Page和Sergey Brin（Google两位联合发起人）处在这样的人生状态。如果能有Elon Musk当年的那种，卷着铺盖直接睡到Tesla的流水线上，完全从底层、第一性原理，去再造公司，我觉得是有可能的。
张鹏：前段时间我在硅谷期间听到的消息是马斯克要买C.AI，律所慢慢的开始介入交易谈判了，但是回来没两天，马斯克在辟谣了，大概率是真谈过，但没谈拢。进辉，你怎么看这一笔交易，如果马斯克想买，它会用来干嘛？
袁进辉：对，我也听闻Elon Musk要买C.AI，但最后为什么Google达成交易，我同意刚才汪华的观点，Noam毕竟在那边工作过、声望卓著，而Google在眼下此阶段也需要一个有威望的人，来鼓舞士气。
我听Google的朋友说，Google创始人在内部表达过，一直在想办法让Noam再回来，在做技术的人眼里，还是比较钦佩Noam，所以如果Noam回来，整个团队的士气可能会不一样。从这个方面来看，Google是愿意支付溢价的。但是其他潜在买家Meta或者是X.ai，可能给不了这么好的offer。可能他们是以抄底的想法来谈的，Google的姿态会更尊重一些。
张鹏：一个叫回家，一个叫抄底。单就Google25亿美元带走C.AI30位员工，这一笔交易对各方的利益是怎样的？
汪华：我没有仔细看这个交易的结构，但整体上，投资人应该都被溢价买回来了。对投资人来讲，一个一年多的投资项目，哪怕你是在10亿美金估值的时候投的，ROI和回报都十分好，更加不用说更早投的VC了。对投资人来讲无论如何都是一个胜利。
员工里有两部分，一部分加入Google，Google的股票也相当于现金了；另一部分留在C.AI继续做，但是员工激励也获得了现金兑换。
所以Google真的是把各方的回报都满足了，非常体面。我更好奇的是，里面一些纸面下的东西。Noam拿到了一些什么样的承诺？他回到Google，到底有多大的权限？能干多少事情？
张鹏：Google当年收购DeepMind也就花了5.4亿美金，现在花25亿美金请回Noam。对Google来说，值吗？
汪华：其实我自己觉得Google未必吃亏了，一是要看将来怎么执行这一笔交易，另一个，我自己觉得Google这么做可不仅仅是为了做AGI。
在几家大公司里，我觉得Google的搜索和广告业务基础是最危险的。当年移动网络时代，搜索和广告其实已经被大大削弱一次了。你看今天的百度就知道了，很多搜索推荐引擎把搜索在手机上、移动电子设备上淡化了。但Google当时很有远见，一开始就收购、控制了Android，所以在移动网络时代，它没有受影响，甚至还增强了。
但AI时代会更进一步地削弱搜索，因为搜索是为了用户做下一步任务，但将来AI是直奔结果、直接帮用户达成目标了，所以AI对搜索的削弱比移动网络还狠，广告也是一样。在新一代的商业模式上，广告是不是还会像以前一样长得这么大？
所以Google这一笔交易可不仅仅是为了做AGI。在我看来，Google出这个非常体面的价格，一定也是要花大决心重构它的搜索和广告，甚至重构整个业务基础。这就是我刚为什么把Noam比成Jeff Dean，Google花25亿美金，万一又买回来一个“Jeff Dean”，这个方面来看未必就贵了。
袁进辉：对，我也非常同意，这个人才值这个价。况且这里面可能要再细分一点，25亿美金是C.AI这个公司的估价，里面根据投资人股权，给投资人兑现的现金可能也不超过10亿美元。另外一部分就好像雇佣一批人才，通过Google的package（权益组合）——现金加股票。
所以对Google来说，其实就是可控的，让投资人赚一笔，对团队来说，应该主要是用未来的薪资来支付。
张鹏：归根结底并不是因为Google缺C.AI这么一个产品，真正有价值的是人。
张鹏：前两天OpenAI又有核心团队离开去创业了。过去一年，OpenAI当年那个黄金团队也被瓦解得挺多，走了不少人。你怎么看OpenAI不断流失人才这件事？
汪华：我觉得应该还是OpenAI去年11月份（Sam Altman被解雇又召回）的余波，这事还没完。
其实抛开是不是安全、与人类价值观对齐之类，OpenAI还有另一条线——想做AGI的人跟做商业化的人之间的矛盾冲突，实话说Sam Altman也挺难的。在OpenAI做研究和想做AGI的人眼里，商业化团队做的那些事纯粹是浪费卡、浪费资源，“你们在那里搞什么？浪费宝贵的研究时间”。
所以其实OpenAI最原始的这波人离开，无论是出于“对齐”、安全，还是想实现AGI，对Sam Altman的商业化、产品化路线都挺有想法的。
但是问题是，原来的OpenAI、原来最核心的人都是在第一种思想下，做到现在这个状态的。对他们来说，OpenAI现在不说180度大转弯，也至少是90度。
张鹏：现在业界也在积累压力——“GPT 5怎么还不出来”，既担心GPT-5出来，现在做的事情就没意义了，又担心GPT-5出来不及预期。
袁进辉：你说的这两种矛盾心态很真实。但站在从业者角度来说，还是希望GPT-5有突破，因为它关系到整个行业、整个社会对AI的信心。
同时，技术突破有一定的偶然性，前面整个行业的进展我觉得似乎太高歌猛进、太理想化了，实际上应该有一个客观清醒的认识，在这样的一个过程中肯定有反复、有波动，会遇到困难。
张鹏：回到Character.AI产品本身，已经做到赛道头部，但创始人无奈把它放弃。除了创始人志不在此，还该如何理解这件事？
汪华：C.AI其实“生”得有点早，账算不过来。如果到了明年，整个推理优化得更好、成本更低，账可能会算得过来。
实话说，现在推出C.AI还不如AI搜索。AI搜索，一天撑死搜十次；当年我在Google的时候，一个用户平均搜索不超过7次。所以AI搜索消耗的token数是有限的，哪怕你加一大堆RAG（检索增强）。但是社交娱乐产品的逻辑是，一个产品的用户时长越长，产品越好。可是C.AI这样的产品动不动就是两个小时的用户时长、上百轮的对话，如果再加上语音等其他东西，一个日活用户轻轻松松就需要消耗掉几十万、上百万token。
所以用户增长对C.AI来说是一把双刃剑。要想产品好，用户时长要越长越好，但是对于算账来说，用户时长越长，越算不过帐。C.AI最近为了降成本，已经在跟使用者真实的体验做博弈了，比如把模型拼命往小压缩，所以前段时间有很多用户反馈“模型怎么变笨了”，“我的体验不好了”。
所以从推理、多模态等各方面的发展来说，其实都有点早。当然这只是时间问题，他如果融到足够多的钱，捱到推理成本降低，比如明年又降低到1/10了。
张鹏：如果去年他再拿10亿美金，按照今天的现状即便算不过账，也能够继续往前跑。
汪华：对。C.AI在没有仔细做产品的情况下，都能吸引那么多日活，而且平均用户时长那么长，反而更说明了这样的领域的客户的真实需求很强。要知道，C.AI的用户时长是超过一个小时的。超过一个小时用户时长的应用其实不多。
除了推理成本，C.AI的第二个问题，是产品。即便不考虑算力成本、大规模做用户增长，C.AI的产品在我看来也是一个非常重度的、非常核心向的一个产品。
一小部分重度用户的忠实度特别高、时长特别长，但轻度用户其实不太玩得进去。原因其实很简单，抛开荷尔蒙需求的玩家不说，C.AI里面的一些核心玩法，比如角色扮演、名人对话，或者互动小说，其实是需要用户大量输入文字。用户要想在角色扮演的过程中有很好的体验，对他/她自己的要求首先很高，因为跟bot聊就是这样，你聊得越好，bot才能跟你聊得越好。
张鹏：若用户你很无聊，bot那边也很难跟你一起演出很好的戏。这是个“双人舞”。
汪华：对。但你要知道，现在的普通人的娱乐是什么，我举个极端例子，抖音。你只要划一划就行了。
其实为什么现在C.AI很多的核心用户是二次元？他们真的是重度用户，有点像当年互联网的天涯用户，他们有很好的表达能力，能输出、能接受非常深度和复杂的设定，也能享受到很多乐趣。
他们也很像当年玩魔兽世界的那波玩家，公会、上班式地玩，重度地玩，但现在大部分普通的轻度玩家，其实更像原神的用户，看看剧情、刷刷任务就行了，你要让他们回去像当年魔兽世界一样，重社交、公会式地，一天几个小时像上班一样玩游戏，他们根本承受不了。
所以从产品形态的角度来讲，它没有真正花很多时间打磨产品，把产品去做扩圈下沉。在这一点上，我对C.AI也有点失望，因为C.AI其实挺好的，把重度用户群都占了，但是作为领袖产品，却没有好好打磨产品。
作为领袖，应该为整个同种类型的产品开辟前路，否则，当一个领域里面排名第一的产品，在产品角度、用户扩张角度、体验扩张角度不思进取的时候，你明白我的意思，整个领域都会受损。
而且这个情况不光是C.AI，所有类似产品都有这样的一个问题，局限于重度用户，重度用户之外的轻度用户效果不好，而且对普通用户来讲，长留存很差。其他的类似产品也是如此，哪怕是比较著名的产品像Talkie，根据外部的可跟踪到的数据，它的长留存也很低。C.AI的留存好一点，因为C.AI第一个推出产品，把那些最核心的重度用户全都聚拢过去了，所以C.AI整体的长留存还可以，但是这个赛道所有别的产品的长留存都不太好。
因为这本质上是一个社交产品，核心的模型只是一小块要素。情绪价值、包括人的社交模式有很多种，一对多、多对多，人和bot，bot跟bot等等。
张鹏：让Transformer的大神来琢磨人性和人间的逻辑，太难为Noam了，这事可能还是，比如张小龙这样的产品人较为贴切。进辉，你怎么看C.AI产品的困境？
袁进辉：我听到的消息是，C.AI重度用户基数可能有几千万，但是再扩展的话很难。C.AI有一个特殊的群体，比如说爱玩游戏的，还有爱和虚拟角色交流的，而且有个专门的术语叫“乙女”，二次元等等，这个群体她特别享受C.AI这样的产品，但是问题是有更多人不是这个群体。
按理说做好这个群体，让这部分群体有几千万人喜欢，也非常难得。但是最主要的还是，创始人志不在此。
C.AI这个用户底子，如果让中国的创业者去做，无论从产品还是商业化，可能会做得更好。国内的创业者去做类似的东西，可以想出让玩家氪金、抽卡什么的各种玩法。
汪华：如果把Character.AI交给米哈游，把Character.AI交给张小龙，这个肯定会有不同的故事了。
张鹏：反过来说，从C.AI身上，我们正真看到了哪些有意义的东西？情绪价值这个赛道，以前是用什么样的产品在被满足，C.AI到底带来了什么样新的改变？
袁进辉：大模型出来之后，发现语言对话能力比以前更加自然、流畅，还有对常识的理解，这些都是过去做聊天机器人，想尽各种办法打破头都无法攻克的。但现在用大模型解决了语言的流畅问题，解决了一部分常识问题，过程中还有Fine-Tune（微调）机器人说话的风格，能更好地满足情绪价值。
而且并不全是在单纯解决情绪价值、陪聊的场景，但凡需要语言能力、常识、对话能力的场景，某些特定的程度上都被解锁了，这是对行业的启发。
Character.AI允许人们创建自己的定制聊天机器人，模仿任何有生命、死亡或无生命的人或物。｜图片来自：C.AI官网
汪华：其实Character.AI证明的事情还挺多。一是证明了广义的社交和情绪，这部分价值能被模型解决和满足。第二，它还证明了新一代的内容消费方式。
Character.AI里面，很多人在做角色扮演、互动小说，它是新时代里情绪价值的内容消费的一个雏形。很多人在里面扮演角色、玩虚拟游戏，但这样的游戏的世界或者虚拟的世界实际上完全为“他/她”定制。
过去无论是TikTok这样的推荐引擎，还是玩游戏，它只是把做好的内容，千人千面地推荐给你而已。
比如玩原神的人很多也仅仅是为了内容消费，原神本质上是一个内容提供商，而不是传统的游戏厂商，它提供的是带情绪价值的内容消费。哪怕在原神里，理论上你可以在里面互动，但这种互动其实是基于固定脚本的。
张鹏：真正的沙盒并不是一个预设好的空间，它是为你而实时渲染、生成的一个世界。
汪华：对，Character.AI起码证明了基于文字的，一个新时代的、完全互动的内容消费和娱乐形态的赛道。
所以现在看似乙女或者二次元玩家好像比较集中，但实际上，无论是情绪价值的可能性，还是新时代的全新内容形态、带情绪价值的互动内容形态，可比乙女和二次元要大得多得多。
现在的Character.AI其实有点像2012年我们起步做移动视频的时代，把YouTube直接往手机上搬。C.AI把AI直接搬到聊天机器人的形态，但实际上可能要到两三年之后，最终的产品形态才会体现出来，而且可能还不止一个方向。我觉得Character.AI将来可以分叉出两三个不同的方向。
张鹏：C.AI给我一个很重要的启发是智能的供给，因为情绪价值背后需要一些智能的能力来实现，这种智能能力的供给在今天准备好，并能批量提供的时候，这种智能供给的终点就是支持我们这么多年在商业体系里一直要追求的——大规模个性化。
就像刚才汪华说的，世界为你而创造、为你而闪耀，在这一个时空里跟你的对话，只为你，不是为任何人，不是被设定好有无数人来消费的东西，它只因为你存在，且因为你在此刻时空切面的这句话而去生成新东西。
这是历史上不管游戏、内容消费等等所有东西里，从未出现过的东西，这是它真正的变化。而它背后的原因，是智能的供给获得了突破。
汪华：对，之前的推荐引擎其实已经改变了很多东西，比如抖音、头条，电商里的阿里、京东、拼多多。所以移动网络的辉煌，一半是因为移动互联网，另一半是因为推荐引擎。否则，几千个小二，几千个新浪小编，支撑不起来这代东西。
张鹏：没错，我特别认同，从整个经济学的角度来看，供给、需求、连接这三者之间是关联的。
刚才你说的，今天我们正真看到二次元、乙女这样的人群，对这事很喜欢。但如果这种供给的成本不断地下降，也有打磨得很好的产品，最后本质解决的，是“情绪价值上的大规模个性化服务”。而充分的供给出现之后，需求就会改变，需求如果变了，连接就会改变，这几个东西其实是一种连锁反应。
所以C.AI虽然没有完成这个闭环，但是开启了对这一点的思考。未来不同的产品形态，不同的场景，游戏、内容消费、心理、健康等很多领域，都会有一样的主旋律——智能的供给，在这样的一个过程中可能会改变需求——把原来的窄需求变成广泛的需求。但Noam他们还没有把这个窄需求拓宽，最后停留在这个点上了，再加上今天智能供给的成本还是太高，算不过账。
张鹏：我觉得那个时代的智能也是不足的，但是他通过交互的设计，单列、划一下，弥补了这件事。我可以划三下都不满意，我还能接受。当时的智能有限，内容也有限，但我通过交互仍然能够有更大的用户兼容性，看起来也蛮个性化的。
汪华：最早他的推荐算法只是用在今日头条上，后来扩充到视频、广告算法、电商等等别的业务上。现在的Noam有点像止步于第一个产品，而且是还没有做完今日头条，就放弃了，而没有后面的抖音、直播，也没有后面的实现商业化。
但张一鸣打造了甚至比百度更厉害的广告引擎，本质上都是基于同一套算法，搜广推这套算法，当年张一鸣把搜广推这套算法一直延伸到现在，完成了整个闭环。
张鹏：这个类比我觉得挺到位。但这一次我觉得是真的改变了供给，在供给这一侧，它为你而生成，针对的是真正的个性化。
汪华：对，如果能把这件事做对，坚持往下做，肯定比当年的字节会更大。搜广推我只是类比它的发展历史，但是这次智能的革命性是比当年的搜广推要大得多得多。
张鹏：刚才我们还聊到一个话题，“C.AI算不过账”，所以这个账要怎么算？
袁进辉：以前互联网产品边际成本趋于零，只要获客成本能算得过账，可以完全放心大胆地做增长。但现在一方面要算获客成本，另一方面每增加一个用户、日活，每天消耗的计算资源成本也在持续增长，GPU比较贵。如果服务单个客户的成本不变，成本是线性增长的。
所以对于AI产品，必须算两个账，一个是获客成本、一个叫经营成本。当经营成本或者计算成本逐步降低，比如10倍、100倍时，可能会像移动网络产品的成本那样，用户增长的边际成本为零。
具体到Character.AI，它除了在预训练模型上持续投入，每增加一个用户，推理成本也有比较高的支出。多个方面数据显示，它每天日活是几百万，付费是几万订阅用户，每个月收入大几十万、上百万美元。每个月的算力支出、光推理成本可能就四五百万美元，确实入不敷出。
如果推理成本再降10倍到100倍的话，Character.AI的经营成本就和过去移动网络的产品非常接近了。
2024年6月20日，C.AI创始人Noam在社交平台分享了C.AI近期在优化推理成本上的进展｜截图来源：
张鹏：听他们团队说，过去一段时间很努力地在优化产品的推理成本，降了不少了。
汪华：但即使降了那么多，还是要继续降。因为要提高使用者真实的体验，可能得用更好的模型，只是文字不够，得上多模态。理想状况，要能给用户GPT-4o一样的语音体验。
其实这有点像当年的英特尔和微软，需要像硅基流动这样的公司把推理成本不断地降低，然后AI产品这边再把使用者真实的体验做起来，又把降下来的成本再升上去的过程。
张鹏：智能密度提升，同时单位智能的成本下降。算得过账未来有什么好的解法？未来一段时间应该关注哪些要点？
袁进辉：我觉得成本下降是一个必然趋势，可当作AI创业的一个基本假设，比如未来一段时间成本会下降10倍到100倍，基于此来做产品和商业的设计。
从模型角度，现在有办法把模型变得更小，比如小10倍，同时它的能力和原先模型的能力差不多。模型上也有投机采样、大小模型的配合这种方法。
芯片角度现在也有一些办法，除了通用芯片，国内外一些勇于探索商业模式的公司瞄准了Transformer的专有芯片，比如基于类似Llama这种结构去设计芯片，这种芯片有望带来一个数量级的提升。
从云计算规模效应的角度也有很多办法，比如说潮汐现象，怎么把白天和晚上的流量能够都用满，比如把计算放在电价更便宜的地方，立刻就能降低一倍等办法。
张鹏：一边是Scaling Up模型能力要往上走，一边是边际成本要无限向下，因为追求无限供给的智能，才能解锁新的时代。
在成本优化的目标上，要降几个数量级，就到了“让C.AI生逢其实”的状态？
汪华：我当时做过一个简单的计算，如果是大用户量的工具类产品，我自己觉得基本只要降10倍就能算得过帐。
但如果是长时长，甚至是要加上多模态，基本上要两个数量级。因为长时长本身（成本增加）就将近10倍，而且多模态都不说视频，像语音和图片的token都挺耗成本的。
当然还有刚才说的模型调度，如果端侧模型再能承载一些压力的话，我觉得云侧只要提升两个数量级就可以。因为很多编码、解码和一些前端的工作可以在端侧挖一层。所以我的假定是，如果要实现完整的两个数量级的云侧推理成本降低，基本上可以开启这个新时代（智能供给自由）了。
张鹏：推理成本降低两个数量级，靠今天在工程上的努力，是否就是确定能轻松实现的？还是仍然需要一些技术上的创新，有新的方法才有机会实现？
袁进辉：未来肯定还有创新，但如果把现在的手段都用上，应该是能轻松实现的。比如说，100万token今天是几块钱，但是优化以后能做到几毛钱或者是一毛钱的这种价格。
刚才说的那些模型手段，把模型变得更小、把MOE做得更好，大、小模型的路由做得更好，比如说Apple Intelligence那样，有在端侧推理的、有云侧推理的，这种把模型任务之间的路由做得好的话，也能解决非常多问题。
软件基础设施这层还在往前推进，用更低精度、更好地调度。芯片的潜力还没出来，因为芯片设计生产的周期长，现在都还在用之前设计的芯片架构去做。
汪华：我再补充一个，如果产品本身是确定的，除了通用成本降低的方法以外，针对产品去额外做优化，无论是在模型推理阶段对产品和硬件架构去做专门的互相设计，还是能在里面加很多kv cache，甚至是结果cache的缓存层之类的特定产品场景的优化，又可以再降低好几倍。
张鹏：这么一看，Noam确实压力大，刚分析的是降推理成本的空间，还没说训练模型的成本。因为C.AI就拿了2亿美金，手里似乎有8000张卡，万卡都到不了。
同时，这也带来另一个话题，勇于探索商业模式的公司要不要去做大模型，走双轮驱动、产模一体的路线？
袁进辉：若能够像OpenAI和Anthropic融那么多钱的话，可以做。
如果没那么雄厚资金的话，更现实、更理性的做法是，不把钱花在训模型上，因为现在有很多，比如Meta开源的Llama405B模型是可用的，国内也有一些开源模型接近GPT-4水平。
对于一些AI应用，比如说像C.AI这种应用，目前开源模型的能力应该够做产品初期的PMF等等需求，这也是更理性的做法。
袁进辉：我觉得几亿美元到10亿美元肯定都够，不一定像OpenAI要追求10万卡或者是几十万卡这种级别。
因为现在训模型的技术更成熟了，同样的数据，有技术方法能够训出水平更高的模型。
实际上今天有很多接近GPT-4水平的模型在预训练时没有用那么多卡，可能2000张卡就交付了接近GPT-4，或者在某些方面比GPT 4还好的模型。
所以从算账角度来说，按照每1000台H100，租金1亿美元一年，有几亿美金可以再一次进行选择双轮驱动。
汪华：我首先说，如果做双轮驱动的应用公司，指的是要做大用户体量的应用公司，如果去做一个中小用户体量的应用，根本不需要。
第二，产品的PMF阶段不用自己的模型都没关系，用市面上最好的模型就可以。但是如果产品想要上量的话，一定要用自己的模型。
这么做一是因为成本，二是因为要跟竞争对象之间产生差异化优势。真的要把一个产品做得便宜，做出差异化优势，其实是要按产品需求去做一系列模型的，哪怕看上去最简单的AI搜索，如果想减少相关成本、效果又特别好的话，其实需要做一堆模型。比如用户的意图侦测、分类的模型、re-rank的模型，包括summary的模型也要专门定制，这样效果才能做得好。因为如果都用通用的模型、参数量大的模型，哪怕是开源的，其实效率也并不高。
就像Google做搜索，要支撑这么大规模用户量的搜索，里面的很多技术栈都不能用开源的现存技术产品，就得自己来做。这些模型也并不全是特别大，反而都做得特别小，或是说针对产品特定任务的模型。
另外，跟竞争对象做出差异化，肯定要做出自己的特色功能，依靠开源模型做特色功能不一定行，至少也得基于开源模型进行大体量地魔改config串。但实际上，一个开源模型如果加足够多的数据config串，其实消耗的算力也跟训一个新模型差不多量级，大概相当于训新模型1/3的计算量了。
所以在我看来，验证产品要多快好省，但如果一旦产品验证了，而且你是要做大用户量的应用，往上scaling（规模化）跟竞争对象打出差异，既能做大体量又能算得过来账，就得双轮驱动。
其实哪怕移动网络时代也是这样的，一开始大家都用开源的东西随便搭个东西。但一旦做大了，你成了一个大网络公司开始有大应用了，都在搭自己的技术栈。
张鹏：最终如果用户量做起来了，铁定需要双轮驱动，如果瞄准的用户体量不大或者最终没做成大体量的应用，玩双轮驱动只能“死”得更快。
张鹏：最近半年，硅谷几家最被看好的几家AI应用都以某种形式并入大厂，你们觉得这反映了什么趋势？
袁进辉：从Adept加入亚马逊、Inflection加入微软、还有C.AI加入Google这几个例子来看，我自己觉得是创业者高位套现的阶段胜利。他们可能在行业发展冲动期、泡沫期出现，但并不一定真正有耐心。
后面的阶段其实更考验耐心，这里有一个短期的波动，比如原来的判断失误、行业模型或者开源模型的进步、融资的节奏，应该说，还是会有更长期主义、更有耐心、更热爱的人继续往前跑，解决行业更细节的问题。
去年AI领域投了很多钱，但实际上大部分钱并没有投在应用上，而是投在Infra、模型、底层架构、技术上，而且投得蛮多，所以这波投资本身到了要开始收敛的阶段，因为不需要那么多底层模型、算力平台。
像Coreweave之类的算力平台，包括做推理的公司、做中间件的公司，本来在经过那么多投资之后，也到了要收敛的时候，所以会看到各种收敛的形式，无论是并购、互相合并、消失，或者是一些头部公司的确立。
另一方面，你会发现今年拿到钱的公司，其实就是广义的应用公司。最近基础模型拿到钱的公司少了，因为大家认为基础模型差不多了，但你会看到像做音乐的模型，像Eleven Labs做语音的模型，各种各样应用模型的公司，还在持续不断地融到钱，融到慢慢的变多钱。
包括To B领域各种各样的应用，像DevOPS，或者各种垂直商业应用，最近几个月的融资事件实际上慢慢的变多，所以其实就是投资的趋向和阶段变了。
所以之前阶段的项目现在到了该整合清算、清盘的阶段，同时现在转移到了第二个阶段。
另外，现在的投资，哪怕是投应用，海外投To B的项目比To C还要多一点，即便投To C大家也会投一些确定性比较高的项目。比如C.AI今年没有拿到融资，但Perplexity拿到了，因为Perplexity的创始人不做AGI，正儿八经要一直要做产品，商业模式和用户增长也比较扎实。
但是投资人，的确也是要等你产品跑出来才给钱。像国内出海的HeyGen拿到了不少钱，它是属于收入已经被验证了。
汪华：对，移动互联网时代毕竟是量化宽松，钱太多了，而且全世界处于经济上行期，资金成本又特别低，钱没地方走，所以那个时代里，投资人整个的风险偏好非常强，投资主题绝大多数都是愿景和增长。
这个时代，投资人依然还是愿意投，但实际上要更多的确定性。这就是怎么回事去年大家一股脑地投算力、投底层大模型，因为去年这些底层基础设施是确定性更高的。
今年大家看To B应用多、看To C应用少，也是这个原因。To B的商业模式一开始就是定下来的，东西做对了收入总是有的。To C其实有点hit-driven（热门产品驱动的），像电影一样，不一定可以爆。
投资人还有一个心态，就是等待。绝对不能听投资人说，“我是投资未来”，我自己也是投资人，我自黑一下，投资人说投资未来、创业周期、投资价值，这是信仰上的，但是身体很诚实。身体是跟着当前的倾向、趋势，本质上是跟风的。投资人都认为To C如果能跑出来会比To B大得多。但大家在等一个、两个、甚至是一批成功的案例和模式出来，我再开始。
你说最近明星公司加入大厂会不可能影响AI投资，其实现在的问题是，对投资人心态影响的东西太多了，我说实话，这件事的影响不一定有美联储降息或者美股科技股暴跌这事，对投资人心态的影响大。
袁进辉：随着AI基础设施，比如大模型开源、Infra云服务的完善，我最近关注到一些“超级个体”，全栈工程师一个人能搞定一个很有意思的应用。比如说“艾逗比”，一个个人开发者做了一个AI搜索——“thinkany”。还有像之前做哄哄模拟器的王登科，也是个人开发者，现在也在创业。还有像胡修涵他们做的“捏Ta”，AI驱动的角色幻想创作平台等等。
我分享一些接地气的方向，第一个是做出海工具，我看到有不少公司已实现正循环了，比如大家之前都知道的HeyGen。海外的竞争对手其实不是特别强。并且，很多出海工具可以同时做To B和To C。一开始先从中小业主、专业用户起步，做到一定规模再向ToB客户扩展。
第二，对规模小的新勇于探索商业模式的公司来说，我自己觉得就别在国内做AI搜索了，太卷了。如果出海能寻找自我的独特定位，还可以考虑。
第三，现在多模态技术发展很快，无论是开源模型还是闭源模型的API。如果你能成为第一波尝鲜者，比如把一些美国多模态公司新出的AI API，第一波产品化、工具化，也有一定可能会取得很好的增长红利。
我还有一个感觉，有时候大家去做AI应用，把关注点都放在AI上了，忘了应用是主语，AI只是定语。不要为了AI做AI，还是要想办法发挥自己原来积累多年的专长，看AI如何在里面起作用。
另外，因为现在AI技术栈还没有收敛，大家似乎太关注AI本身的变化，追是追不过来的，还是想办法找一些不变的东西，和自己特别擅长的东西，比如特别擅长做社交、做狼人杀，特别擅长有渠道、有资源、有理解的东西，求助于内，再去找AI的结合点，不契合可以算了。
