在AI创业热潮与生存恐慌交织的当下，哈佛大学心理学家史蒂文·平克发出理性声音：渲染“AI末日”无助于控制风险，真正重要的是审慎的安全工程。这一立场值得每位从业者重新审视技术价值。
从“毁灭论”到“风险工程”：AI创业需要清醒的坐标系
长期以来，科幻色彩浓郁的AI末日叙事占据了大量舆论版面。平克却认为，这类辩论如同“供人围观的竞技活动”，无助于我们理解真正的风险。他特别批评了“回形针最大化器”这种思想实验——它假设AI会为了完成一个荒诞目标而毁灭人类，却混淆了智能与支配欲。对AI创业者而言，把精力花在想象一个全能的“数字恶魔”上，不如脚踏实地评估AI技术在真实场景中的能力边界。AI技术真正需要警惕的，是它被赋予过多自主权时可能引发的失控，而非某种玄学层面的“统治欲”。这种理性视角，恰恰是当下AI创业领域最稀缺的素养。
平克并非低估AI的能力。恰恰相反，他坦承自己过去低估了大语言模型的发展速度，也没有预料到AI公司会在产品发布上如此鲁莽。这种“双重意外”说明：我们对技术的认知，往往落后于技术的实际演进。因此，AI创业更应建立动态的风险评估机制，而不是固守“技术中立”或“技术万能”的极端立场。创业者需要问自己的不是“AI会不会杀死我们”，而是“我的系统在什么条件下会失败？失败后由谁负责？”
值得注意的是，平克真正重视的风险并非末日叙事中的“全面灭绝”，而是生物恐怖主义、网络攻击以及缺乏约束的AI智能体。这些风险都不是抽象的哲学问题，而是工程学问题。在他看来，解决这些问题的方式不是停止研发，而是建立更扎实的安全壁垒。这给AI创业圈传递了一个明确信号：安全不是“研发完成后再补的课”，而应该内嵌于产品生命周期的每个环节。
“回形针思维”为何失灵：真正的危险隐藏在具体场景里
“回形针最大化器”是AI安全讨论中常被引用的思想实验：一个被设定为生产回形针的超级AI，最终可能为了实现目标而牺牲人类。这个例子看似生动，却存在致命逻辑缺陷——它预设AI系统会疯狂地只追求一个目标，且毫无约束地扩张权力。平克指出，这种设想混淆了“智能”与“支配欲”。真正的智能系统应当能理解目标的优先级和边界，而不是一根筋地执行指令。
这种批判对AI创业具有直接的指导意义。许多团队在设计产品时，往往把“能力最大化”作为唯一指标，却忽略了“意图对齐”和“安全边界”。比如一个内容推荐系统，如果只追求点击率，就可能陷入信息茧房；一个人工客服，如果只追求响应速度，就可能用错误信息误导用户。这些现实中的“回形针”问题，远比想象中更常见。大模型训练的过程，本质上是让模型理解人类复杂意图的过程，而不只是堆叠参数。
平克拒绝参与公开辩论，也表明他不想把严肃的风险治理变成一场“表演”。这一态度值得AI创业者学习：与其在社交媒体上争论“AI生存概率”，不如在实验室里多做一次碰撞测试，多写一行安全代码，多准备一份应急预案。尤其当大模型能力快速迭代时，任何一次鲁莽的上线都可能带来难以挽回的信任损失。
大语言模型与鲁莽发布：一场缺少“刹车”的产业竞赛
平克既对AI能力表示惊叹，也对公司发布产品的“鲁莽”感到失望。这里存在一个悖论：那些最热衷于警告AI末日风险的从业者，恰恰是推动军备竞赛式发布的人。他们一边预测灾难，一边加速产品迭代，试图在规则到来前抢占市场。这种“行动与宣言相矛盾”的现象，在AI创业领域并不罕见。
原因不难理解。大语言模型带来的商业压力是空前的。投资者希望看到产品落地，竞争对手不断挤压窗口期，媒体则追逐每一个“颠覆性”版本。在这样的节奏下，安全测试往往被压缩到最低限度。许多团队把“发布后修复”当作默认策略，但AI系统与普通软件不同——它的行为难以完全预测，且错误可能以大规模、非线性的方式扩散。科技产品的研发者必须意识到，AI时代的“科技产品”不再仅仅是工具，而是一种与社会深度耦合的基础设施。
平克所批评的“鲁莽”，本质上是行业缺乏共治机制的表现。当每一家公司都在追求“更快、更强”时，谁能主动停下来？在缺乏外部约束的情况下，安全往往让位于效率。因此，他提出的“独立监督、责任机制、人类控制”并非老生常谈，而是针对大语言模型特性的必要设计。AI创业者应当把安全工程看作竞争力的来源，而不是发展的障碍。
平克的解决方案：安全工程如何嵌入AI Agent开发？
平克给出的药方很明确：审慎的安全工程，而非末日渲染。这包括独立的第三方监督、清晰的问责链条以及对AI系统的“人类控制”底线。这些原则听上去简单，落地却并不容易。尤其是在AI Agent技术快速发展的今天，一个能够自主规划任务、调用工具、与外部系统交互的智能体，其行为复杂度远超大模型本身的文本生成。此时，安全工程就不再是“加一道护栏”，而是从架构层面设计“可中断性”和“可解释性”。
独立监督的关键在于避免“既做运动员又做裁判员”的窘境。AI创业公司可以考虑引入外部审计机制，定期公开安全测试结果；行业协会可以制定分级标准，对高风险应用进行强制评估。责任机制则要求产品链条上的每一个参与者——模型开发者、应用开发者、部署方——都清楚自己的义务。人类控制并非“人在回路中”这么简单，而是确保任何自动化决策都有明确的最高权限人，以及可执行的紧急停止手段。
对创业者而言，这些要求看似增加了成本，却能显著降低长期风险。与其依赖末日论者提出的“暂停研发”这类极端方案，不如在日常开发中嵌入安全方法论。利用AI工具导航可以快速找到成熟的安全测试框架、鲁棒性测评工具和合规管理方案。这些工具虽不能取代深度的安全研究，至少能帮助创业团队少踩一些显而易见的坑。
对AI创业者的启示：在工具链中找到真实的落地场景
平克的乐观与担忧并存。他相信AI能力会继续提升，也承认产业界存在短期行为。对AI创业者来说，这一态度意味着两件事：一是不要被“末日论”吓退，二是不要无视真实风险。与其纠结于“AI是否会产生自我意识”这类终极问题，不如思考自己的产品如何解决具体的用户痛点。例如，许多团队利用AI画图工具辅助设计，帮助中小商家快速生成创意素材；另一些团队则借助AI工具箱整合文案、数据分析、客服等场景，打造一站式的效率平台。这些实践，都是在真实需求中寻找AI技术的落点。
安全工程在这里并非“技术正确”的空话。一家做招聘筛选的AI公司，需要确保算法不因性别、年龄等因素产生歧视；一家做智能投顾的公司，则需要让用户理解模型的风险偏好假设。这些细节看似琐碎，却是AI创业建立信任的基础。创业者应当把“可问责”写进产品哲学，让安全成为品牌的一部分。
同时，AI创业者也要学会在产业协作中共享安全经验。开源社区、行业联盟和标准组织都是不错的选择。单打独斗难以应对系统级风险，而集体智慧往往能提前发现潜在漏洞。平克所倡导的“审慎”不是保守，而是一种理性的冒险——在创造价值的同时，把损害控制在可承受范围内。
理性乐观主义：风险意识与数字化转型的平衡
平克的立场可以概括为“理性乐观主义”：既不夸大末日，也不轻视风险。这种心态对当下的AI创业至关重要。因为AI发展必然会与企业数字化转型深度融合，成为供应链管理、智能制造、客户运营等环节的底层能力。风险意识不会阻碍数字化进程，反而能让转型过程更加稳健。企业需要的不是“因为害怕，所以停下”，而是“在安全框架内大胆探索”。
回顾平克的观点，他真正反对的是将AI“神化”或“魔化”。AI技术最终应由人类来定义价值。创业者的使命，是让技术更好地服务社会，同时守住责任底线。这意味着既要尝试最前沿的算法，也要坚持最基本的安全规范。AI创业的未来，不会属于那些喊得最响的预言家，而会属于那些敢于行动、同时懂得刹车的人。
当末日论者还在争论“人类灭绝概率是20%还是80%”时，务实的创业者已经在用AI画图辅助设计、用AI工具箱优化流程、用AI Agent改造业务闭环。他们知道，安全工程与创新发展从来不是对立面。每一个可靠的产品，都是对“AI风险”最有力的回应。
保持对技术的敬畏，也保持对创新的乐观。这或许是平克这封公开信给AI创业圈最大的启示。