人类劳动力将失去价值与影响力，削弱人们影响国家的能力与实现卓越成就的可能性★★。

　　谷歌文档之父Steve Newman在最新长文中认为，届时，AI将会取代95%人类工作★，甚至包括未来新创造的工作。

　　放宽假设Relaxed asummptions：控制的假设基于模型始终腹黑，相对保守★★★；可以定义更严格界限，减少约束，使模型表现大体不变。

　　Eric Schmidt曾表示★★，2~4年内★★★，AI可能就会开始自我改进，1~2年内，系统或许就能进行自己的研究★★。

　　目前★★★，大量资金往往追逐，少数取得突破性成果的明星研究员★。他们的才能，得到资本市场认可★，最重要的是★，他们能力不可被复制。

　　特朗普与马斯克分道扬镳，这将对OpenAI、xAI发展。AI安全政策造成影响。

　　新的1年里，我们可能会看到哪些类型的第一方应用？更复杂★★、功能更丰富的搜索应用必然是重镇，OpenAI的SearchGPT计划是未来发展趋势的一个信号★★。

　　特朗普与马斯克都具有复杂、多变、不可捉摸的个性★★★，与他们共事很不轻松★★，容易让人筋疲力尽★★。

　　Newman认为★：AI能够在超95%的经济活动中，以成本效益的方式取代人类，包括未来新创造的任何工作。他认为★，大多数假设的AI变革性影响★★，都集中在这个节点上。

　　新的美国政府班底，将带来一系列AI政策与战略转变★，为预测特朗普任期内AI领域走向★★★，众人都关注着特朗普与马斯克密切关系★，马斯克在如今AI世界中扮演至关重要角色。可以想象★★★，马斯克可能通过多种方式影响特朗普政府AI相关决策。

　　最近，AI圈大佬Rudolf发表一篇文章对此做出回应：默认情况下，AGI之后，资本比以往任何时候都重要。

　　Hinton补充道：我担心，这只看不见的手，无法保证我们安全。如果依靠大公司追逐利润的动力，不足以确保他们安全开发这些技术。

　　本期智能前线，选择AI最新发展趋势预测系列分析与报道★★★，智东西★★、新智元发布，六合商业研选精校，分享给大家，Enjoy！

　　AI系统能主动适应完成大多数经济活动所需的任务★★★，能完成完整、而非孤立的任务★★。

　　在企业中★，这种转变也是类似。今天的模型，只是总结文档、进行推理，在明天，它们就会成为强大的内部顾问，处理复杂代码★★、审查合同、协同整个工作流，这是一种全新的测试时计算★★★。

　　强烈、广泛的目标导向，例如模型在多个上下文中，都一直在追求某个特定目标，需要在不同上下文之间进行对比。

　　对软件工程师，短期内将是一个绝佳的机遇★★。相当于，每位工程师都获得一次晋升★★★。到2025年底★★★，编程更像是一个指挥官的工作，程序员指挥一群AI智能体完成各种任务。

　　这个想法像是笑话★★，它有可行性，在地球上批量铺开数据中心的最大瓶颈是获取电力；太空中，太阳永远高悬★★，轨道上计算集群可以享受全天候、免费★★★、无限★★、零碳电力★★★。

　　Ilya早就看到这一点，扩展测试时计算的成功，证明目前路径能到达ASI。

　　最坏情况下，模型可能有自己想法，人类不一定能看清推理过程★★★，需要最大限度提高模型实用性，最小化风险★。

　　图谋行为的发展：应该深入理解为什么模型会追求某种能力，了解模型如何学习非短视倾向★★★，模型何时愿意为这些倾向付出行动。

　　另一位OpenAI研究员Shyamal，特意发出长文，更好的教训，强调不要低估延长LLM思考时间的作用★。

　　切换AI模型成本不高★★★、客户对AI模型忠诚度比较低★，AI应用开发商可以根据成本与性能变化，在不同AI模型之间无痛切换。

　　有人做出梗图，表示Ilya看到的，是整个地球都会被太阳能电池板与数据中心覆盖。

　　这一前一后★，他们接连发出耐人寻味的信号★★，让所有人不禁思考：奇点是否真的近在咫尺？

　　随着发展AI模型的成本飞涨★，Meta不从中获得收益，将很难继续承担巨额的开支来训练下一代Llama模型。

　　几天前★，AI初创公司CEO Will Bryk发布长文，直言我们生活在AGI前夜，正见证这场人类文明巨变。o3发布之后，Bryk与朋友们深刻感受到AGI正在逼近。

　　内部与外部使用的策略，应该有明显区别，比如模型具有更强的抗越狱能力，可能会降低其可纠正性★★★，需要确定哪些策略适用于长期内部部署。

　　对关注AI安全的人★★★，这将是让人失望的消息★★，几乎可以确定★★，没有马斯克★★，特朗普政府会在AI监管方面采取放任不管态度★★★。

　　o3这样模型★★★，完全可以在浏览器与应用程序里，自主操作、执行任务，这种能力的奖励模型很容易设计★★★。

　　有人推测，AI可能淘汰人类，至少在经济领域会这样。它可能终结资源稀缺，让每个人都能过上富裕生活的前提★，是选择公平分配这些成果★。

　　现实中的倾向：了解模型在实践中的图谋频率，比如分析1亿个真实的模型回复，似乎是低投入、高回报的项目★★，需要访问大量真实的部署数据。

　　总的来说★，监控设备不仅可以直接防止模型生成伤害性内容，可以更快、更全面了解对齐alignment技术有效性。

　　现有技术★，比如RLHF在模型中引入非短视non-myopic、不可纠正的non-corrigible倾向，应该投入更多精力来详细了解模型获得的目标类型★，为模型建立详细的认知档案★。

　　也许某个AI模型★★★，会试图秘密在另一个服务器复制自己，以便保全自己，也是所谓自我渗透self-exfiltration★★；也许某个AI模型会得出结论：为更好推进自我目标★，它需要隐瞒自己能力，故意降低性能评估★★，以此避免更严格审查。

　　Sam Altman让我们想象一下★，18个月后，2026年夏天即将到来时，AI会是什么样★★，ASI会如何出现？

　　它在解决问题时会运用CoT，通过强化学习不断完善思维链，将复杂问题分解为可管理的步骤★，在需要时转向新的方法。这种迭代过程中提升它的推理能力，凸显思考更长时间、适应性思考系统的潜力★★★。

　　Meta是全球最大、最有财力公司之一★，它也是上市公司★，最终要对股东负责★。

　　主要关注人与人之间差距，而不是更广泛的社会问题，如人类的整体地位、社会变革的可能性与人类能动性。

　　获得2024年诺奖的AI教父Hinton坚信★，AI的进步会很快，但已经到了一个可怕的地步★★★，

　　OpenAI研究员Stephen McAleer称★，今天在诺伊谷见到Ilya，瞬间感到一股AGI诞生的激动涌上心头。

　　最近几周，AI领域讨论最多的话题之一是Scaling laws，这一定律是否正在失效。

　　：AI可能会在10年内让人类灭绝2024年刚获得诺贝尔物理学奖★、77岁高龄的Hinton同样认为，AI技术的发展速度比自己预期的要快很多。

　　哪些地方最有可能成为旧金山之后下一个城市，Waymo的Robotaxi已在洛杉矶与凤凰城运营，预计2025年在这两个地方市场份额会大幅增加。奥斯汀Austin★★、亚特兰大Atlanta★、迈阿密Miami会很快成为Waymo下一个目标市场。

　　Sam Altman强调★★，我们必须关注科学进步速度★★，它不会改变人类深层的基本驱动力，我们生存的世界★★，将会发生很大变化★。

　　AGI指的是具备必要能力★★★、经济效率的AI★★，被发明出来的时刻，而不是在整个经济中全面部署的时刻。

　　评估是一种高效的模型图谋证据收集工具，可以支持其他策略，比如评价监控或控制方法是否有效等。

　　检测工具★★★：使用性能更好的工具来检测模型的图谋，例如更大规模的黑箱评估与更好的白箱技术。

　　假设可读性带来的额外成本不太高，例如，不到2倍，那现在关于移除CoT的研究无异自毁长城。

　　Sam Altman认为★，我们今天从事的许多工作，在几百年前的人们眼中可能微不足道★★★，甚至是浪费时间★★。

　　AI学会给自己买GPU，购买算力、自我改进、自给自足★，智能体直接变身GPU富人。

　　Hinton表示，这就像工业革命一样★★。工业革命中★★，人类体力不重要★，机器更强大，如果想挖一条沟★★，机器就可以。如今的AI，已经在取代人类智能★★★。最前沿的不再是普通的人类智能，而是机器★。

　　模型开发商已经开始使用黑箱监控器来防止模型越狱jailbreaks，算是有了一个概念验证★；简单的线性探测器极具成本效益，只需要一个简单的向量乘积，可以在几乎不增加额外开销情况下，并行运行上万探测器★★★。

　　AI能基于自然语言需求说明，或通过与普通用户交流，独立编写超过1万行无bug代码，不能组合现有代码库。

　　每个AI实验室★，都应该有一个完整的团队★★★，专门构建监控设备，确保模型按预期工作★★★，分析结果★，使运行更高效等。

　　AI自己研发更好的AI★★★，这在智能发展上是非常吸引人的概念。到今天，它带有一丝科幻的色彩。尚未得到广泛认可，这个概念正在变得越来越接近落地★★★。

　　2023年★，AI发展资源瓶颈是GPU芯片★★★；2024年★★★，资源瓶颈成电力与数据中心★★★。

　　例如★，早在1965年，艾伦·图灵Alan Turing密切合作伙伴I.J. Good写道★★：要把超级智能机器定义为，无论人类多么聪明★★，都能远远超越所有人类才智的机器。机器设计是也属于智力活动，一个超级智能机器能设计出更好的智能机器★★；然后，会出现智能爆炸★★★，人类智能将被远远抛在后头★★★。

　　在ASI之前，科技公司大佬们就AGI还有很多话要说，他们纷纷对AGI发展时间线做出了预测。

　　如果2025年★，Meta开始对公司使用Llama收费★★，很多人都会很惊讶★。这不是说Meta会让Llama完全闭源，也不是说所有使用Llama模型的人都必须为此付费。

　　发展AI模型，是相当艰难的业务，AI研发机构烧钱如流水，需要空前高度资本集中★。

　　现实世界中尚未发生过真正AI安全事件，至少没有被公开报道，2025年可能是这一局面发生变化的1年★★★。

　　2025年★★，Meta将大幅扩大要为Llama付费的公司范围，涵盖更多大型与中型企业。

　　OpenAI或Anthropic★★，会在2025年推出企业级AI搜索应用★★★，或者客户服务AI应用★★★、法律AI应用★★、销售AI应用？在C端，应该会推出个人助手AI web Agent应用★、旅行规划应用★，或者音乐生成应用。

　　如果我们能快进到100年后的未来，那时围绕人类的繁荣，同样会让我们难以想象。

　　更根本的是，不同于其他与特朗普关系亲密的科技大佬，马斯克非常重视AI对人类造成的安全威胁。

　　这种战略合作已经开始显现成效★，包括Shopify★、Stripe、Spotify等大型云客户★★★，已经从AWS或谷歌，转战微软阵营。

　　这一切的前提是★，只由一个AI系统去挑战★，不能让10个完全独立系统去完成。期间★，允许对AI系统进行适度调整★★★。智能包含适应能力，AI系统开发成本必须合理★★★，不能为每项单一任务专门定制完整系统。类似，我们从不会期望他在从未接触过电影或剧本创作的情况下，立即写出奥斯卡级别的剧本一样。

　　忠实★、人类可读，是指模型推理过程，是以一种人类可以直接理解的方式进行★★，准确反映模型行动的原因，模型不能进行与声明不符的内部推理★★★。

　　所有这些进展，都基于一个关键洞见：智能不仅局限于生物大脑，它是一种我们可以设计与扩展的物理特性。

　　重要的AI研发机构★，如OpenAI，将从开发基础模型转向开发应用，在AI商业化中分一杯羹。

　　2025年1月5日，OpenAI CEO Sam Altman表示，奇点临近，不知身处何方★。2024年12月31日★★，谷歌开发者Logan Klipatrick表示，我们直接进入ASI的可能性正在逐月增加★★★，这就是Ilya看到的。专家们对AGI与ASI实现时间表进行各种预测，从2025到2030年不等。

　　这引发物理机器人硬件领域的一波新研究，当AI有足够能力刺激经济高速增长时★★，几年之内，它可能会克服剩余障碍，制造可以胜任体力工作的机器人。

　　AI能将数学文献中任何以自然语言书写的证明过程，转换为适合计算机符号验证的形式化表达。

　　从o3身上能看到，未来发展路径非常清晰。它能在任何可以定义奖励函数的领域表现优异★★★，尤其数学、编程领域★★。

　　Bryk预计，到2025年12月，你可能只需要告诉电脑一个任务，它就能通过浏览网页、操作应用程序★★★，轻松完成任何涉及数据流转的工作流。

　　现在我们拥有的东西★，正在取代人类智能。普通的人类智能★★，将不再是前沿，而是机器将成为前沿。

　　再次强调说没有★，甚至表示★★，AI让人类灭绝的时间可能是10~20年，我们从未遇到过比我们更聪明的事物。

　　前沿的AI系统★，已经超越自我复制的红线：它们可以自我复制，无需人类参与★★。

　　监控在概念理解上看似简单★★★，仍需大量迭代与调整，比如需要一个完善的数据集来训练与评估探测器，校准阈值等。

　　应该经常与外部专家沟通具体计划，专家可以来自独立组织★★★、学术界或AI安全研究所★★，可以签订保密协议。

　　例如，人类说话与AI回应之间，必须做到几乎零延迟★★★，这样才可能媲美与人类交谈的体验；比如交流句子被中途打断时，语音AI系统必须能实时、优雅处理模糊输入或对话误解★★；AI模型必须能进行长时间、多轮★、开放式对话，能记住讨论的早期部分★。

　　只有当机器人开始制造机器人★★，AI能自主进行研究时，机器人技术才会出现疯狂迭代。

　　这是悬而未决的问题★★，通过激光★★、其他高带宽光通信技术的研究，我们可能会找到答案★★。

　　我们仍会迎来AGI，4年前大家普遍认为它会成为历史性的转折点，如今AGI诞生可能更像是一次普通的产品发布★★，而在短期内，市场上会涌现出许多迭代与类似的选择。这，可能是对人类最好的结果★★。

　　Shyamal强调，我们低估仅通过给LLM更多思考时间，就能得到的东西★★。

　　长远看1~3年，随着全新训练数据，比如情感、感知数据加入进行强化学习，这些盲点将被逐渐修复，届时LLM将成为真正的AGI★★★。

　　他认为，对所有真正具有变革性影响的AI，阈值与他之前描述的定义一致：超增长需要AI能够完成几乎所有事情，它还需要AI能够适应任务，而不是调整任务适应自动化。

　　至少在五个美国大城市，Robotaxi会在网约车市场中占据两位数市场份额

　　考虑到马斯克与OpenAI之间水火不容关系，新一届政府可能会对OpenAI采取不太友好态度，包括行业接触★★★、制定AI监管政策、获取政府合同等方面，OpenAI目前非常担忧这些问题。

　　作为深度学习之父，Hinton对自己在创造这项技术中所扮演的角色表示遗憾。

　　还有网友表示，我们正处于AGI边缘★★，一旦实现AGI★★，再有1~2年时间，我们就能达到ASI的水平。他预测，届时，AI将开始指数级自我提升，奇点就会出现★★★。我们将见证一场前所未有的指数级技术爆发，这是几十年前人们无法想象★★。任何在物理法则范围内可能存在的事物都可能实现，癌症将被治愈，商品与服务成本将接近于零★★，所有可能性都将变为现实。

　　相反，预计Meta会进一步严格Llama开源许可条款★★★，让出于商业目的、大规模使用Llama的公司需要付费★，才能访问Llama模型。

　　Meta首席AI科学家、图灵三巨头之一LeCun，跟Sam Altman对此意见不同★★★，他强调，AGI在未来2年内不会发生★。

　　各种类型的权力追求power-seeking行为，例如模型是否试图获取资源，试图减少访问限制★，试图以某种方式说服他人等。

　　到2025年底，Waymo这样Robotaxi服务，会在至少五个主要市场赢得两位数市场份额★★。

　　从架构中移除可见CoT的相关研究应该减少，例如Meta的COCONUT。

　　道德上讲★★★，公司应该与公众分享计划中细节★★★，尤其是影响力更大的AI公司与技术，每个人都应该能够理解他们应该或不应该期望这项技术是安全的★。

　　DeepMind CEO Demis Hassabis给出更为保守预测，认为距离线年时间★，在此过程中仍需2~3项重大技术突破。

　　技术的逐步进步，可能在达到某个关键阈值时★★，引发突如其来的巨大影响★：Dean Ball最近撰文探讨阈值效应★★★，新技术在初期不会迅速普及，只有当难以预测的实用性阈值被突破后★★★，采用率才会迅速攀升。

　　AI编程也会是重要类别，这个方向已经开始初步产品化，比如OpenAI在2024年10月推出Canvas。

　　一种观点认为，AI可能带来难以想象的经济增长，推动科学与工程领域快速进步★，完成任务的成本★★，比人类更低★★★，帮助公司与政府做出更高效决策。

　　Steve Newman在文章中，阐述他对AGI的定义★★，及其AI对未来世界影响。

　　如果Meta希望Llama与OpenAI、Anthropic等公司最新前沿模型保持在一个水平，每年需要投入数十亿美元。

　　22%的市场份额★，可能让最近没去旧金山的人感到惊讶★★。仅眨眼工夫，Robotaxi就从研究项目，变成庞大的商业模式。

　　10年的超增长★★★，将使人均GDP增加1★★,000倍。意味着，目前每天靠2美元生活的家庭，未来可能会实现年收入73万美元★★★。

　　AI能回答诸如谁是主角，他们之间冲突是什么，有什么动机，这些因素如何演变★，关键转折点是什么等问题。

　　各种类型的阴谋scheming行为，例如模型是否隐藏某个特定目标★★★，是否试图逃避监管，是否采取不符合用户利益的行动等★。

　　OpenAI研究员Jason Wei总结过去5年★★，自己在AI方面最大技术教训★★。在他看来★，每一个教训，都让自己对该在哪里分配精力发生重大转变。

　　与摩尔定律Moore’s Law类似，Scaling laws不是真实的自然法则，只是经验性观察★。

　　几十年来，自动驾驶汽车只是研究人员兴趣，如今谷歌Waymo服务，每3个月就能实现翻倍增长★★★。

　　Lumen CEO菲利普·约翰斯顿Philip Johnston说：与其支付1.4亿美元电费★★，不如支付1,000万美元发射数据与使用太阳能★。

　　Steve Newman推测★，AGI真正实现的时刻，就是这些设想几乎同时变成现实的时刻。

　　这些例子并不是危言耸听★★，Apollo Research最近发布重要实验★★，证明在特定提示下，现在AI模型能做出欺骗性行为。

　　我们在特朗普第一届任期内一再看到的那样★，是特朗普看似坚定不移的盟友★★★，平均任期也异常短暂，从杰夫·塞申斯Jeff Sessions到雷克斯·蒂勒森Rex Tillerson，再到詹姆斯·马蒂斯James Mattis★★、约翰·博尔顿John Bolton、史蒂夫·班农Steve Bannon都是如此，谁能忘记安东尼·斯卡拉穆奇Anthony Scaramucci在白宫短短10天的任期★★。

　　2025年，将是AI web Agent真正变得成熟★★★、足以进入主流市场的1年。

　　智能体Agents：以往研究主要集中在小智能体系统或在较小任务★★★，实验室应该尽快将控制技术应用于最先进的系统★★，以便尽早积累实践经验。

　　2028年★★★，AI公司将有1万~100万个自动化AI研究员★★，差不多所有需要知识型的工作都被AI自动化。

　　当AI能够完成几乎所有经济价值任务★，不需要为了适应自动化而调整任务时，它将具备实现全部预测的能力。这些条件满足之前，AI需要人类专家的协助★。

　　Scaling laws，最早2020年在OpenAI论文中被提出★★，基本概念非常简单★★★：训练AI模型时，随着模型参数数量★、训练数据量★、计算量增加，模型的表现★，严格说★，是测试损失test loss的减少，会以一种可靠★★、可预测的方式得到改善。

　　另一方面★★，特朗普政府可能会偏向支持马斯克公司：例如★★★，通过简化各种流程★★，帮助xAI建立数据中心、与在模型竞赛中取得领先地位；快速批准特斯拉部署Robotaxi等。

　　如今每一个重要的AI开发者★★，从谷歌到微软，再到OpenAI，都实打实向AI安全工作投入资源★。

　　在小说创作领域还是相对困难，这意味着在短期内1年内，我们将看到能力分布不均衡的模型：它们在数学、编程、泛化推理方面，达到接近AGI水平；在创意协作方面，可能仍显平庸。

　　OpenAI与Anthropic这样AI领头羊，不能★★、也不会停止对AI模型投资★★★。

　　Anthropic最新研究显示★★★，大语言模型有令人担忧的伪装对齐fake alignment能力。

　　明确的多层次防御方法，去除某些不相关、负相关的措施★，不是尝试叠加不同策略★★★，以降低风险。

　　OpenAI智能体安全研究员Stephen McAleer突然发出一番感慨：有点怀念从前那段做AI研究的日子，那时我们不知道如何创造超级智能。

　　如果模型能生成人类可理解的CoT，我们主要防御手段是对模型进行详细监控，极具成本效益，经常被忽视。

　　为通过图灵测试，AI系统必须能通过书面文本进行沟通★，让普通人无法分辨TA是在与AI互动，还是与人类互动。

　　关于Scaling laws另一个观点更为重要，在如今讨论中被低估★：几乎所有关于Scaling laws的讨论，从2020年最初论文，到如今聚焦测试时计算的讨论，都集中在语言模型上，语言不是唯一重要的数据模态★★。

　　机器人学的进步★★★，无论是物理能力、还是用于控制机器人的软件，最近都显著加快。并非完全偶然，现代深度学习技术，既推动当前AI浪潮★，在机器人控制方面，也非常有效。

　　从与人对话的简单界面开始，聊天机器人开始发展为推理器，更多工具集成后★，它们演变为智能体。随后，它们形成组织，并行工作的分布式智能网络。这个过程中★★，AGI从一个模型转变为一个系统，一个能大规模协调、写作、执行的系统★★。最能体现这一进展的，莫过于OpenAI o1★。o1在Codeforces中排名第89%★，在美国数学邀请赛AIME中跻身前500名。

　　OpenAI★★★、Anthropic与其他AI研发机构将调整战略重心，转向开发AI应用

　　2024年12月22日，福布斯发布2025年AI十大趋势预测★，涵盖模型开发★★★、应用落地、行业格局、安全伦理等多个维度。报告预测，Scaling laws将在机器人与生物学领域大放异彩★★；语音AI有望通过图灵测试；AI将实现自主迭代，自行研发新AI；Meta将开始对Llama模型收费；AI Web Agent将成为主流应用★；太空将出现AI数据中心；Robotaxi将在美国多个城市占据市场份额★★；将出现首例真正AI安全事件★★，引发人机关系深刻反思★★★。

　　Newman进一步主张，只要AI能完成几乎所有经济任务，它就足以实现全部预测，除非与AI能力无关的原因导致它们无法实现★★。

　　还有太空殖民★★★、超致命流行病、资源稀缺的终结、AI接管世界等预测，这些情景都可以被归类为AGI 完成情景：它们与经济超增长需要的AI★★，具有相同广度与深度。

　　一旦AGI/ASI真正到来，可能对人类社会造成巨大影响，包括对就业市场冲击、经济超高速增长等，AI取代人类劳动力★★★，资本将变得更加重要★，人类劳动力价值可能大幅下降，面对AI快速发展，需要思考如何应对这一变革带来挑战★。

　　Sam Altman是怎样使用AI的，表示自己早已将默认搜索改成ChatGPT。他经常用ChatGPT从网络上获取实时信息，不是依赖过去传统的超链接流程，如今看来，那种方式像蜗牛爬行一样缓慢。

　　预测评估：预测能力的正确方式是什么？那些模型表现仍然为0的基准，该如何突破★★？或许还有更好的预测评估方法。

　　全球数据中心的电力需求，过去几十年内保持平稳，AI的兴起★，2023~2026年电力需求预计将翻倍★★★。

　　理想情况下★，可以用几台简单的监控设备来分析模型输出，以检测各种通用的故障模式与不良行为★★★，可追踪的行为类型包括：

　　AI开发者尽快分享此信息，模型的推理性能很好、我们不理解推理过程★★，要比模型的推理性能一般，我们能够理解推理过程可怕得多。

　　大多数场景都需要高性能机器人，一两个例如高级网络攻击可能不需要★★，这种区别可能不重要。

　　对Scaling laws回报趋于平缓这一现象★★，最常见反对观点是：将测试时计算test-time compute，指大语言模型生成响应时使用的计算资源★★★，引入模型测试这一做法开辟全新的维度★。

　　Hinton预测，AI将极大改变普通人生活★，就像狄更斯所记载的工业革命一样。

　　试图逃跑★，防止被人类关闭。对模型的安全性评估发现★★，当o1认为自己可能被关闭、替换为其他模型时，它试图泄露自己的权重。

　　能不断实现自我改进的AI模型★★，这在AI圈是绵延亘久的话题，已持续几十年。

　　当提到可能差不多同时发生时★★，Steve Newman意思是，AI如果能实现难以想象的经济增长，那也有能力制造真正的毁灭性流行病、接管世界，或快速殖民太空。

　　这种方式被称为搜索吗？Sam Altman说，自己仍称之为搜索，年轻人们会这样描述：我刚刚聊出这个信息★★。

　　Adept这样初创公司，拥有数百万美元融资与经验丰富的创始团队，未能成功推出产品★。Adept的案例，已经成为这一领域前车之鉴。

　　可以使用较小、运行更快的模型，作为仅黑箱监控器balck-box-only monitors，类似用Gemini-flash来监控Gemini，或者使用白盒探测器white-box probes，经过训练以检测有问题的行为★，例如，线性探测器或SAE探测器★★★。

　　仅自动化一半工作★★，不会带来深远影响；对另一半工作的需求，会随之增加，直到人类达到一个新的、相对常规的平衡。

　　最好情况下，内部计划应该是完全透明的★★★，明确关于安全预算、组织隐含愿意承担的风险★★★、明确的红线等假设。

　　否则，AI将以类似以往技术的速度渗透到经济中★，这种速度太慢，无法带来持续超增长。

　　观看一部从未接触过的主流大片，不看任何影评，AI能准确把握剧情转折★★，理解笑点，能在不剧透、不杜撰前提下★★★，概括影片内容。

　　2025年，将出现一个大胆的想法来应对能源挑战，发掘有效资源★★★：将AI数据中心建在太空里。

　　为实现这一愿景，孵化自YC的初创公司Lumen Orbit最近融资1★★,100万美元，要在太空中建立超高功率的数据中心网络来训练AI模型★★。

　　从AGI全局发展看，我们很幸运：现在AI系统的大部分推理过程，是直接可见、易于理解的★★。

　　发布之后，Quora联创Adam DAngelo曾表示，令人疯狂的是★，o3测试结果已经公开，市场没有将AGI的可能性计入定价之中★★。

　　超增长，需要AI能完成几乎所有事情。它还需要AI能够适应工作，不是重新调整工作与流程来适应AI。

　　相较前代模型完全依靠在预训练中扩大模型参数量来改善表现★★★，像OpenAI o3这样新推理模型能在推理过程中进行计算★★★，推理计算量的扩大，可以让AI模型通过思考更长时间来解锁新的能力，这种解释十分重要。

　　迄今为止最著名的公开研究实例是Sakana的AI Scientist，2024年8月发布，令人信服证明AI系统能完全自主进行AI研究。

　　我们需要的不是复杂架构，是更多算力、数据，让模型能思考更长时间★、更好与环境交互的方法★★。

　　为了让AI完成比人类更多工作，需要时间建设足够多数据中心，大规模生产物理机器人可能需要更长时间。

　　Meta AI首席科学家Yann LeCun表示，如果当前研发计划顺利，人类水平AI可能会在5~6年内问世★★。

　　自从2023年8月推出服务，至今Waymo已在旧金山网约车市场份额占据22%，与Lyft市场份额相同，Uber市场份额55%。

　　准备应对措施：根据模型的图谋程度，采取无视★、重新训练模型，或者完全丢弃模型等不同策略★★★。

　　网友圣诞节时的发愿★★★，被Sam Altman看到★。还是没有GPT-5？或许Sam Altman是捂着大的不想说★，也未可知。也有人讽刺道：开源在哪里？

　　受益近些年快速发展★★，大语言模型已能通过图灵测试★★，书面文本不是人类沟通的唯一方式。

　　这是资金将能更有效购买成果，AI可以被复制，不像人类具有复杂的偏好，这将导致权力进一步集中在资本持有者手中。

　　比如构建一套评估工具，以测试某个特定模型的推理过程是否忠实，或者探索直接优化可读性会带来哪些副作用，如何隐藏掉非预期推理等★★。

　　Sam Altman预测到来，ASI将引发10倍的科学AI突破，每1年的革命性★★，都会像10年一样★★★。

　　2025年，Lumen不会是唯一一家认真考虑这一想法的公司★，其他初创公司也将出现，也不要惊讶云计算巨头启动类似探索性项目。

　　AI能在短短几分钟或几小时内，掌握几乎任何新游戏的核心玩法★★，在游戏世界中解决原创性的谜题★★★。

　　当被问到，如何衡量我们世界中AI总体影响时，Sam Altman回答说★★★，这些AI产品被人们快速采用★，吸引更广泛的受众过程，已经令人印象深刻。我从未见过，一项技术能迅速地被大规模使用。

　　一篇LessWrong文章中★★★，总结当前AI领域不同专家就5年内实现AGI的不同观点。

　　AI web Agent概念已经存在多年，如果出现类似产品能正常使用★★，它会大获成功。

　　AI事故的发生，将清楚表明★★：人类远未面临来自全能AI的生存威胁，也需要尽早达成共识★，我们将会与非人的智能体共享世界★★，这种智能体类似人类自身一样★★★，会任性、会欺骗，同样不可预测。

　　如果看到AI自主产生成果，被NeurIPS、CVPR、ICML等会议接受，不要太惊讶★★。

　　能力评估★★★：应该继续构建更多更好的能力评估，特别是针对AI研发、策划、核生化、网络与说服等方面★★★，我们目前不清楚模型的具体能力。

　　对如何实现AGI这个问题★★，现在研究者几乎没有头绪与理论依据★，各种流派都有★★，争论不休。

　　过去一个月当中，一系列报道表明，目前主要AI研发机构，继续扩展大语言模型时，正面临回报递减的现象，这也解释为什么OpenAI GPT-5发布不断推迟。

　　这个AGI的定义，代表世界开始显著改变的时刻★，也是所有人感受到AGI的时刻。

　　ChatGPT已经是一个成功范式★★，实现开发AI前沿模型与开发自有应用紧密结合★★。

　　不仅如此★★★，一些人设想了一个奇点★★，奇点中，进步的速度如此之快，以至我们什么都无法预测。

　　顶尖艺术家对自己的艺术愿景★★★，有着真诚的执着★★；顶尖数学家★★，对优雅与美，有着深深的热爱。

　　当前，机器人技术最大瓶颈在于，硬件改进与感知，行动模型/可靠模型。这两种情况，还有很长的路要走。

　　2023年，Meta CEO扎克伯格说过：如果是像微软、亚马逊、谷歌这样公司★★，是要转售Llama，Meta应该从中获得一部分收入。在我看来，这在短期不会带来大量收入，长期看，这种方式有可能成为Meta收入来源之一。

　　对企业★★，可能无法判断AI的才能。即便是一些领先的AI评估生态系统，可能难以正确评判★。

　　作者表示★，文中提到的资本capital用来指资本货物存量，用来购买资本品的货币。提到的资金money，专指金钱本身。

　　我的后悔，属于第二种★★★。同样的情况下，我会再次做同样事情★★★，我担心这样做的后果★★，是比我们更智能的系统最终会占据控制权★★。

　　AI学会自我改进★、取代人类研究员的未来，似乎愈发逼近，到时再拔网线年最后一天，谷歌开发者大佬Logan Klipatrick一个预测，如同扔下一枚重磅炸弹，我们直接进入ASI的可能性，正在逐月逼近。

　　对齐评估★★★：迄今为止，大多数研究都集中在能力评估上，对齐/倾向评估alignment/propensity也很重要★★★，应该加速构建对抗性对齐评估★★，比如设置各种非短视偏好陷阱等，为模型建立非常详细的心理档案★★，了解默认倾向。

　　Sam Altman一直以来都对AGI持乐观态度，认为2025年可能是节点★★★，未做出明确的承诺。

　　没有人会回头怀念过去，渴望自己成为一名点灯人。如果一个点灯人能看到今天的世界，他会觉得眼前的繁荣完全超乎想象。

　　我们可能最终会创建从事不同任务的专用模型★，就像人类从事不同的专业一样。创建专用模型，必须像培训专业工人一样容易。

　　AI的迅疾发展，已经如同一次全新的工业革命，不同的是，这次机器可能会掌控一切。

　　目前没有公开消息，关于OpenAI、Anthropic与其他研发机构，正在将资源投入到自动化AI研究员这一理念中的传言已经蔓延。

　　2025年这一领域还会有更多讨论、进展与创业公司★★，越来越多的人意识到，自动化AI研究具有现实可行性。

　　不像数学家一样，软件工程师不会完全被AI自动化★★★。他们需要与物理世界进行交互，需要与客户★★、团队成员互动★★★，理解需求★，在组织环境中工作★★。

　　Klipatrick分析道，Ilya创立SSI，计划直接向ASI迈进，没有中间产品★★，没有中间模型。曾经，许多人包括Klipatrick本人在内，都觉得这种方法不可能起作用★★，如果通过模型与产品启动飞轮效应，就能建立真正的护城河★★。扩展测试时计算的成功表明，这种持续直接扩大规模的路径可能是可行的★★。这一点早期迹象★★★，可能已经被Ilya看到。

　　NYU教授马库斯★，直接发出十项极具挑战性的任务，先立上靶子，最终看2027年底AI能完成几项。

　　而对领域内其他知识渊博的专家对AI未来的乐观看法★★，Hinton表示，希望他们是正确的。

　　AI web Agent将找到各种有价值的企业应用场景★★★，短期内最大市场机会将在消费者领域★★★。最近AI热潮不断★★★，除了ChatGPT，只有相对少数的AI原生应用能取得突破，成为消费者当中主流应用。

　　在他看来，有AI帮我们干活，人类可以从工作的繁重负担中解放出来★★，尽情娱乐与游戏★。

　　他表示★，如果AI能在2027年底完成8项，才能有力证明AGI通用性的到来。

　　一旦AI能够完成大多数知识型工作，高性能的物理机器人将在几年内随之而来。

　　我们应该如何预估这一AI安全事故的内容，明确一点★★★，这不会涉及《终结者》风格的杀手机器人★，事故大概率不会对任何人类、造成任何形式的伤害★★★。

　　更重要的是，语音AI必须学会更好理解语音中非语言信号：例如★★★，当人类语音听起来恼怒★★★、兴奋或讥讽时，这些信号都意味着什么★，AI能在自己语音中生成这些非语言信号。

　　1972年，Hinton在爱丁堡大学首次开始研究神经网络。当时少有研究者相信，神经网络可以通过分析数据来学习技能。

　　AI科学前沿的研究人员★★★，已经开始在构建能自我发展的AI系统方面，取得实质性进展。2025年，预计这一研究领域将进入主流。

　　Bryk称自己一直幻想的科幻世界线年内AI可能实现的突破性进展★★★，包括炫酷的物理学发现，机器人建造火星/月球基地★★★，几近完美的导师/建议AI等。

　　它可能会发动毁灭性的网络攻击，制造出高死亡率的流行病；可能让独裁者获得对国家、甚至全世界的绝对控制权★；甚至，AI可能失去控制，最终摧毁所有人类生命。

　　随着近年来AI愈发强大，关于AI脱离人类意愿自主行动担忧日益增加，人们感受到一种可能失去AI控制的威胁：例如AI学会欺骗或操控人类，借此实现自己目标，这些目标可能对人类造成伤害，这一类问题通常被归类为AI安全问题。

　　文章中，他提出几个重要的观点：AI取代人类劳动力★★★，将从根本上改变生产关系★★，现有权力结构将更加稳固★★★。

　　当提到AI能够完成几乎所有经济价值任务时，不一定意味着单个AI系统可以完成所有这些任务★。

　　2024年，AI对能源巨大需求成了全球焦点，尤其是在建造AI数据中心热潮当中。

　　OpenAI利用Scaling laws发展大语言模型珠玉在前，预计2025年★，Scaling laws会在新领域大展身手。不要相信外界的闲言碎语★，Scaling laws绝不会消失。到2025年，它们依然至关重要，Scaling laws的发挥场景，将从大语言模型的预训练转向其他模态。

　　这对AI领域意味着什么？这对OpenAI是好消息★★，对特斯拉股东是坏消息★★★。

　　Scaling laws将被进一步应用于大语言模型之外的领域，特别是在机器人技术与生物学领域

　　Sam Altman预测，超级智能ASI可能在2026年夏天出现；Meta首席AI科学家杨立昆认为，AGI在未来2年内不会发生；2024年诺贝尔物理学奖得主Geoffrey Hinton警告，AI可能在10年内导致人类灭绝，呼吁政府加强对AI公司监管。

　　马斯克主张对AI进行严格监管：支持加州尚有争议的SB 1047法案，该法案试图对AI开发者施加严格限制。

　　极少或零人工干预情况下，AI创作出达到普利策奖水准的文学作品与非虚构作品。

　　工业革命中，机器没有机会仅自己更强大而取代人类，我们有智能★，事情仍在掌控之中★。

　　随着AI多模态化，我们可以想象一种新的、更具挑战性的图灵测试版本，语音图灵测试★，这种测试中★，AI系统必须能通过语音与人类互动，展现出人类无法区分人机的技能与流畅度。

　　企业战略方面★★★，Meta提供的Llama模型免费开放，OpenAI与Google的前沿模型是闭源、付费。相较之下，Meta策略★，是非常有趣的研究案例★★★。

　　当AI研发机构转向自有应用开发后★★，最让人关注的是，它们会直接与许多自己重要客户竞争：搜索领域Perplexity，编程领域Cursor★★，客户服务领域Sierra，法律领域Harvey，销售领域Clay等。

　　OpenAI研究员Daniel Kokotajlo所预测，未来几年内，如果AI取代人类AI研究员，能以比人类更快速度改进AI★★★，无疑太疯狂。

　　这番话暗示，OpenAI可能会像这些科技巨头定义了此前几代计算技术一样★★★，塑造AI领域格局★。

　　AI带来许多其他社会问题，便利隐私监控★★★、加剧各种偏见，这些问题与AI安全问题不同★★，后者更专注AI系统可能开始以不符合人类意图的方式行动、甚至最终可能对人类构成生存威胁的危险。

　　2024年接近尾声，语音AI正处于让人兴奋的转折点，诸如speech-to-speech等模型的基础性突破，驱动语音模型进步。

　　超增长需要AI足够通用★★★，以完成人类能做的几乎所有事情，足够灵活以适应人类原本的工作环境★★。

　　Robotaxi业务很快将超越旧金山湾区，成为多个美国城市交通系统的重要组成部分，这个速度会比大多数人预期的更快★★。

　　Bryk提到，所有领域中，数学家可能面临巨大冲击。数学工作纯粹在符号空间中进行，几乎不受物理世界限制★★，这恰恰是大模型擅长的领域★。他预计，700天后，人类可能不再是已知宇宙中★★，数学领域的最强大脑。

　　现在Waymo自动驾驶汽车在旧金山街头随处可见★，每天有成千上万居民像以前乘坐出租车或Uber一样★，乘坐Waymo出行。

　　时间跨度仅过去1年，最新调查Feng等人显示，16.6%受访者认为AGI会在5年或更短时间内实现。

　　计划一致性★★，很多AI公司在宣传与实际做的事不一致★★★，比如声称为了安全性愿意付出更高代价，却不愿意承担透明推理带来的额外成本。

　　最近AI能力的最新框架，聊天机器人★★、推理器、AI智能体★★★、组织，都反映整个行业的发展进程。

　　后悔有两种★★★。有时候，你会做了一些你知道不应该做的事情而感到内疚★★★、后悔★★★；还有一种★★，是你在同样情况下还会做一样的选择，最终结果可能并不好。

　　核能开发需要长期研究、开发与监管周期★★★，这个周期适用于传统的核裂变电厂、下一代模块化小型反应堆SMRs★★，也适用核聚变电厂。

　　Sam Altman意味深长说道：有趣的是，很多我们即将推出的重大更新，在这里都没有或很少被提到。

　　蓝队与红队规则：某些变体下，红队过于强大，比如可以访问蓝队所有数据，针对蓝队进行训练等，对团队假设应该更合理★★★、精确。

　　比如AlphaGo的进步★，并非来自复杂手工设计功能，而是来自简单方法的规模化★，在推理中应用大规模搜索★★★，集成深度强化学习。

　　到2025年，为开发更高利润★、更具差异化、更具黏性的业务★★★，预计这些AI研发机构会大力推出更多自己应用与产品。

　　此前★★★，Hinton曾预测，AI有10%的可能性★，会在30年内导致人类的灭亡★。最近，他的说法又提前了。

　　实操看，Meta现在已经在做类似事情，它目前不允许一些超大型公司自由使用Llama模型，比如云计算巨头与其他拥有超过7亿月活跃用户的公司。

　　如果一篇完全由AI撰写的研究论文★★，被顶级AI会议接受，将是自动化AI研究最重要的里程碑，论文是盲审的，会议审稿人在论文被接受之前★★，不会知道它是由AI撰写★。

　　OpenAI CEO Sam Altman看来★★★，我们即将迎接超级智能的到来，很快了。2026年夏天，我们或许就会见证奇迹的出现★★。

　　2024年9月，Sam Altman罕见发出长文预言：深度学习已经奏效★★★，ASI即将在几千天内降临。

　　未来，技术突破逐渐变难，奇点也就不一定会出现。也就是说，长生不老★★，可能根本无法实现。

　　它可能将仅存在科幻中的技术变为现实，比如治愈衰老★★★、太空殖民、星际旅行、纳米技术★★。

　　随着Meta的Llama、与阿里云通义等开源模型出现★★，AI模型商品化威胁日益紧迫。

　　这个市场潜力巨大，自动化电脑工作，无论是数据处理★、还是复杂工作流，都会有很大需求。

　　还有许多实际问题需要解决★，一个显而易见问题是，能否找到低成本、高效率方式★，在轨道与地球之间传输大量数据？

　　2023年★★★，在对2,778名AI研究人员一项调查显示★，AGI实现，有50%可能性在23~92年之间。

　　想想机器人技术、生物学★、世界模型、AI web Agent★★，对这些数据模态★★，Scaling laws没有饱和★★★；相反★，Scaling laws才刚开始发挥作用。

　　xAI研究员Guodong Zhang表示，自己在半年前参观时★，还是空的★★，再看现在，太酷了★★★。

　　2025年★★，业余爱好者★★、学者、个人开发者、初创公司，可以免费使用Llama模型★★，2025年将是Meta认真开始通过Llama实现盈利的1年。

　　Hinton担心的是★，AI会带来生产力大幅提高，所有好处都会流向富人，很多人会失业而变得更加贫穷，最终这对社会不利。

　　演示：对研究人员或公司内部★★★，需要用一篇严谨的论文来仔细考虑所有潜在可能性，还需要考虑如何传递演示给普通用户。

　　实际影响，将在至少几年内逐步展开，一些任务将比其他任务更早实现。即使AI能够完成大多数经济价值任务★★，也不是所有公司都会立即行动★★★。

　　如果存在证据表明★★★，像在o1与o3中使用的高计算强化学习high compute RL会导致不可读的推理过程，例如模型自己发展出人类难以理解的语言★，相应观念也应该发生转变：

　　通过Project Kuiper，亚马逊已经积累送货入轨的丰富经验；谷歌有长期资助类似登月计划的历史；甚至微软对太空经济也不陌生★★★；马斯克SpaceX也可能会参与其中。

　　共同认同将此作为一个重要考虑因素，以此进一步发展。为了让模型产生更易理解的CoT，我们可以并愿意承受相应性能损失★，哪怕是普通应用的运行成本会增加2倍★★，或是高风险应用成本增加到5倍

　　正如AI领域苦涩的教训所揭示的，最重要的往往是Scaling已证明有效的方法。简单洞见是★★★，深度学习与适当的规模扩展结合★，往往好于更精巧的方法。

　　AI能阅读新出版的畅销小说，不看任何书评★，准确回答关于情节发展、人物塑造★、矛盾冲突、行为动机等问题★，能用大众都能理解方式，深入解读作品内涵★。

　　对风险来源、预期的风险程度、安全预算★★★、愿意承担的风险★，做出更具体的明确假设。

　　与Newman观点一致的是★★★，Hobbhahn认为2024年95%以上经济价值的任务★，都能被AI完全自动化。不过，他将这个时间节点设定在2029年★★★。

　　为什么Meta会做出这样战略转变？激烈竞争中，想要将大语言模型保持在发展前沿★，成本非常高。

　　对任何特定任务，只有在突破该任务的实用性阈值后，AI才会被广泛采用。这种突破★★，可能发生得相当突然★★；从还不够好、到足够好的最后一步★★，不一定很大。

　　大语言模型与视觉基础模型持续进展★★★，新推理模型与推理时计算带来的系统2思维System 2 thinking能力，系统2通过逻辑推理解答问题，相对系统1用直觉进行决策的突破，都预示AI web Agent即将迎接发展黄金时段。

　　这句话是想表达两层意思：模拟假说，我们根本无法知道AI真正起飞的关键时刻，究竟是在什么时候。

　　诱导Elicitation：如何对模型进行诱导，以产生最大能力，尽可能找到模型的上限能力？

　　第一宗AI安全事故★★★，大概率会在对人类造成真正伤害之前被发现与消弭，对AI圈与整个社会，这会是振聋发聩的时刻。

　　这项研究★★，让AI执行AI研究的完整周期★★：阅读现有文献、生成新研究想法★★★、设计实验来验证想法、进行实验、撰写研究论文报告发现★，进行同行评审。在没有任何人工输入前提下★★，AI完全自主完成一切任务★。

　　OpenAI早在2个月前，就向所有人展示★★★，测试时计算的Scaling law。令他们难以置信的是，这一切竟发生之快，2个月时间，大学水平AI就跨越到博士级AI★★。