一 | 该图片使用了AI生成技术 本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs 当AI还只是生成文字、图片和代码时，一次出错不过是回答不准、图片跑偏、代码返工。 中国小康网讯 4月18日，《湖州市生态文明典范城市建设促进条例》发布仪式在北京举行。但当AI开始能发邮件、改数据库、批订单、调资金、控制设备，它就从"回答问题的模型"变成了"把判断变成现实的执行系统"。该《条例》包括总则、规划与布局、绿色低碳发展、生态保护修复、污染防治、生态产品价值实现、生态文化建设、生态环境治理体系和治理能力建设、法律责任、附则，十章七十九条，系统回答了生态文明典范城市“是什么”“干什么”“怎么干”的问题。
二 | 《条例》将于2024年5月1日起正式施行。
三 | 这中间的差别不是量的，而是质的。
四 | 发布仪式 张剑/摄生态文明建设是党中央高度关注的“国之大者”。“行遍江南清丽地，人生只合住湖州。前者的错误可以被撤销、重来、修补；后者的错误会沉淀成一笔转账、一条删除的记录、一个已经合上的电闸。一旦落地，很多结果没有"再生成一次"的选项。”湖州天生丽质、禀赋优越，地形地貌多样、自然山水清远、生态要素齐全，是绿 水青山就是金山银山理念诞生地、中国美丽乡村发源地、绿色发展先行地。
五 | 我们却仍习惯用同一套指标给这两类系统打分——正确率99%、99.9%、99.99%，每多一个9，仿佛就离"可信"更近一步。
六 | 但安全领域最容易被忽略的一句话是： 正确率描述系统通常表现如何，却没告诉你它最坏能错到哪里。 下面七个数学视角，藏着AI执行安全真正的分水岭。它们不复杂，用的都是中学数学，却常常在最关键的决策上被绕过去。湖光山色 张锦国/摄“青山碧水‘养眼’、蓝天清风‘养肺’、净水美食‘养胃’、诗意宜居‘养心’，更滋养了一方百姓，‘好风景’里正在不断兴起‘好经济’、催生‘好钱景’。”湖州市委书记陈浩在发布会上形象地描述生态湖州图景。从实施太湖治理“98 零点行动”开始，湖州在生态环境治理保护和生态经济化、经济生态化的道路上经历了积极探索（1996年—2005年）、改革创新（2005年—2014年）、全面推进（2014年—2020年）、蝶变跃升（2020年至今）四个阶段，“在湖州看见美丽中国”的城市品牌深入人心的同时，生态文明看湖州也成了这座城市的鲜明标签。湖州是全国首个地市级生态文明先行示范区、首个生态文明示范区“市、区、县”全覆盖的地级市、全球唯一生态文明国际合作示范区、长三角地区唯一国家可持续发展议程创新示范区，获批首批国家碳达峰试点城市、国家减污降碳协同创新试点城市，因生态文明体制改革、制度创新成效显著获得国务院督查激励。 1.正确率把所有错误压成了同一个数字 一个系统执行一万次，9999次对、1次错，正确率99.99%。2023年8月15日，首个全国生态日的主场活动就放在了湖州。报表上堪称优秀。
七 | 全国人大常委会委员、环资委副主任委员吕忠梅在发布会致辞中表示，这次发布的《条例》是立足湖州经济社会发展实际需求，认真总结了生态文明建设创新实践，聚焦生态文明城市建设中的重点难点问题，提炼总结规律性认识，上升为具有普遍规范意义的地方法规，对于丰富和发展中国特色的生态环境法律体系，为国家立法积累实践经验也具有积极意义。她希望湖州能够胸怀国之大者，切实扛起使命担当，努力形成一批具有湖州辨识度的标志性成果，为各地的生态文明建设提供示范样板。生态文明建设，湖州有哪些标志性成果？能为全国提供哪些示范样板？结合这场发布会上的介绍和场外采访，有四个方面值得大家关注。但那一次错是什么？错分一封邮件，几乎无害；误删生产数据、批一笔无法追回的转账、启动高风险设备操作，评价则完全不同。
八 | ——下好了生态文明制度建设的“先手棋”。
九 | 问题在于，正确率只数次数。统计表里，分错邮件是"1"，转错巨款也是"1"。早在2016年，湖州就颁布实施了全国首部生态文明先行示范区地方法规《湖州市生态文明先行示范区建设条例》。可现实中的错误从不等价。在这部“龙头法规”的带动下，湖州探索构建立法、标准、体制、数智、文化“五位一体”制度体系。地方立法上，出台了美丽乡村、绿色金融等11部生态文明地方性法规；标准制定上，发布生态文明建设地方标准112项，12项上升为国家标准；体制架构上，创新组建市委生态文明建设委员会；数智赋能上，开发“工业碳效码”“生态警务”等应用；文化培育上，成立全国首家生态文明干部学院，全域开展“绿色细胞”创建行动，创新开展“绿色低碳生活指数”的测评。 衡量安全，更接近现实的是"风险等于概率乘以损失"这条基本公式： 风险=发生概率×可能损失 一个错误很少发生，不代表它不重要。假设某类事故概率只有万分之一，每次却损失一亿元，把它代入公式，风险依然是一万元，不能被当作"几乎为零"随手抹掉。 更麻烦的是，这类损失往往不能用平均值消化。企业也许能承受每年稳定损失一万元，却未必扛得住某天突然损失一亿。生态治理由“事”向“制”跃升的背后是生态文明建设的系统思维，形成的是“党委领导、政府主导、企业主体、公众参与”的合力。2022年6月，浙江省第十五次党代会赋予了湖州“建设生态文明典范城市”的新目标新定位。前者是可以摊进预算的成本，后者可能直接决定企业还在不在。
十 | 对照新要求，本次发布的《条例》是在原有“龙头法规”上的迭代升级，为湖州打造美丽中国集成之地、浓缩之地、经典之地提供法治保障。数学上的期望值假设你能反复经历很多次、让好运和坏运相互抵消；但对一家公司来说，最坏的那一次如果足够坏，就没有"下一次"来平摊了。安全评估要看的，从来不只是期望值，还有那条最坏情况的尾巴有多长。——产业，产业，还是产业！“《条例》中科技创新、新兴产业的‘浓度’很高。 智能系统追求提高做对的比例，安全系统关心限制做错的代价。”国务院发展研究中心资环所副所长常纪文接受记者采访时说，绿色发展是高质量发展的底色，新质生产力本身就是绿色生产力。 2.一万次没出事，不等于风险为零 另一种常见说法是："系统跑了一万次，从没出严重问题。"很有说服力，但它只证明过去一万次没出事，证明不了概率为零。
十一 | 学生态文明的湖州经验，就要学它如何将重视生态文明建设的意识扎扎实实落到产业转型发展上，落到绿 水青山就是金山银山的转化上，落到生态产品价值的高效实现上。吉利未来工厂 谭云俸/摄湖州市委副书记、市长洪湖鹏在发布会上介绍了不少湖州的典型案例。比如，在“一产”方面，湖州针对全市100万亩竹林，抢抓“以竹代塑”等机遇，大力发展高科技竹产业，推动一二三产深度融合，整体产业规模已经达到300亿元。在“二产”方面，湖州是唯一以绿色智造为主题的全国试点示范城市，通过深入实施“腾笼换鸟、凤凰涅槃”等攻坚行动，推动了传统产业高端化、智能化、绿色化转型。以湖州市全国重要铅蓄电池生产基地——长兴县为例，通过两轮整治提升，原有的175家企业减少到17家，但整个产业产值和税收分别增加到原来的13倍和27倍，同时，整体环境影响得到控制，打造形成了循环经济新模式。又比如，在“三产”方面，利用废弃矿坑，湖州建成了目前全亚洲最大的旅游综合体——太湖龙之梦乐园，总投资达251亿元，拥有客房2.8万间、演艺席位7.5万个，并且通过利益联结机制，既促进了经济发展，又富裕了一方百姓；安吉县梅溪镇红庙村，由入乡发展的青年大学生创业打造的“深蓝计划”咖啡馆，开业两年客流量超70万人次，去年村集体因此增收40万元，带动村民增收近500万元。 用"一次都不出事的概率"这个公式可以算笔账： 一次都不出事的概率=(1−p)^n 其中p是单次事故概率，n是测试次数。
十二 | 青年在村2023年，湖州市地区生产总值再上新台阶，达到4015亿元，增长5.8%。在全国先进制造业百强市当中位列第27位，所辖5个区县全部入围浙江省工业强县。——管用的载体抓手很重要。法律的生命力在于实施，法律的权威也在于实施。“能够落地、能够行得通、能够管用。
十三 | ”这是生态环境部首席法律顾问别涛对《条例》的评价。若p是十万分之一、n是一万，代入后约等于90%。也就是说，即便系统真藏着十万分之一的风险，跑一万次仍有约九成可能什么都看不见。
十四 | 这其实也是湖州生态文明建设的一个重要秘诀。它未必通过了考验，只是还没遇到那道考题。 这也是很多重大事故发生前，系统长期"稳定运行"的原因：风险不是在事故当天才诞生的，它可能一直存在，只是过去的样本还没触发它。 没观察到风险是一种观测结果，风险不存在是一个强得多的结论。2022年起，湖州创新设置了“在湖州看见美丽中国”实干争先主题实践总载体，推动生态文明典范城市的打造。
十五 | 在这个总载体下，子载体的创新都是实招、很见成效。比如，全国首个地市级“生态鼎”夺鼎机制，以差额竞争、末位淘汰、一票否决的方式传导压力，推动各地在生态文明建设上比学赶超、赛马争先。比如，创设的全媒体《看见》监督栏目主动揭短，而且一地曝光、全域整改，让湖州天更蓝、水更清、山更绿、环境更优美。
十六 | 3.越罕见的事故，代价往往越大 频繁的小问题容易被看见：页面每天卡十次，用户会投诉，报表会记录，问题越频繁越容易进入工作计划。真正危险的风险常常相反——几年一遇，甚至一家公司整个周期都没发生过，可一旦发生，一次抵得上所有日常小错之和。比如，区县标志性点位“四季看变化”，通过春看谋划、夏看热潮、秋看攻坚、冬看蝶变来见证和塑造一个又一个生态文明典范城市的标志性成果。——核心是生态惠民、生态利民、生态为民。坚持把人民群众得实惠作为推进生态文明建设的关键着力点，《条例》的形成就是个典型。湖州市人大常委会主任孙贤龙在发布会上介绍说，为了做好开门立法，湖州市人大常委会扎实践行全过程人民民主，综合运用实地调研和召开论证会、听证会、民主协商会等组织形式，积极借助网络、报纸等新闻媒体，充分发挥区县人大和基层立法联系点作用，广泛收集各地各方面意见建议600余条，将“群言群语”提炼为“法言法语”。 同样用"概率乘以损失"对比两类问题： 问题A：概率1%×损失100元=平均风险1元问题B：概率0.001%×损失1000万元=平均风险100元 A更常见，B几乎看不见，但B的平均风险是A的一百倍。而且B一旦发生，带来的不是"平均100元"，是实打实的1000万。所以我们在《条例》中不仅能看到涉及产业发展的“硬核内容”，也能看到为了让市民避免都市光污染看见星空而启动的“星空保护工程”这样的温暖条文。 错误也从不均匀分布。为什么湖州的百姓会这么支持？原因就是他们在生态环境的保护中尝到绿色福利，从生态经济的发展中获得绿色效益，从生态城乡建设中拥有绿色品质。
十七 | 假设系统每年十万次任务，99%是普通操作（错误率0.01%），1%是紧急操作（错误率5%）：普通操作约出10次错，紧急操作只有一千次却出约50次错。如湖州在全国率先建立的“两山合作社”标准化运营机制，探索形成了“五统一”和“两入股三收益”模式（即统一政策制度、标准体系、品牌名片、运营系统、交易平台和资源入股、资产入股，挣薪金、分股金、拿租金），引入社会资本参与生态资源开发和价值转化。整体正确率仍高达99.94%，可占业务量1%的紧急操作，制造了超过80%的错误。20个市、区县和乡镇三级“两山合作社”带动投资近 90 亿元，为村集体、农户增收 1 亿余元。 这就像一条平均一米深的河，大部分地方半米，中间却有个五米深的坑。平均值没撒谎，它只是把最危险的部分藏了起来。
十八 | 修堤坝的工程师从不按河流的平均水位设计，决定堤坝高度的，永远是几十年甚至百年一遇的极端水位。AI执行系统也一样：普通任务里的小错决定用户体验，极端场景里的一次错却可能决定企业还能不能继续存在。
十九 | 再比如“村游富民”的湖州模式，2023年湖州市乡村旅游经营总收入超130亿元，连续7年位列浙江省第一，全市乡村旅游直接从业人员达到了5.86万人。
| 所以安全评估不能只问"平均错误率是多少"，还要追问：高金额操作、紧急模式、陌生地址、跨境转账、权限恢复、数据缺失、多规则冲突时，错误率各是多少。
| 因为乡村旅游，老百姓腰包鼓了，村子富了，经营性收入80万元以上的行政村占比已达到85%以上。2023年，湖州城乡居民人均可支配收入分别达到74400元和47455元，收入比缩小至1.57:1，是全国城乡发展最均衡的地区之一。幸福湖州 张锦国/摄对于百姓而言，满眼皆生态、时时见生态、生态有价值，才会更加坚定心中有生态、自觉行生态。总体表现优秀，证明不了每一个局部场景都安全。
| 2021年起，湖州连续三年发布“绿色低碳生活指数”测评百姓生活方式绿色转型的实现程度，分数逐年提高。 事故不会公平落在每一次操作上，它总聚集在系统最难处理、后果最严重的角落。节约能源、垃圾分类、公交出行、光盘行动、绿色消费等等行为习惯的背后，是百姓已然入脑入心的生态文明价值观。“这就是生态文化建设的力量。 4.三个人同意，可能只是同一个错误重复了三次 为降低个人误判，企业惯用多人审批。
| 逻辑没错，但前提是判断足够独立。
| ”在中央党校社会和生态文明教研部生态文明建设教研室主任李宏伟看来，生态文化在湖州可不是个看不见摸不着的概念，它已经被转化成了老百姓实实在在的获得感，认同感。 用"多数表决下至少两人同时出错的概率"来看：三个独立审批者各有10%错误率、多数通过，至少两人同错的概率约2.8%，远低于单人的10%。（周宇）编辑：任奕遥。这正是多人决策能提高可靠性的数学基础。 可现实中的审批往往不独立：三个人看同一份摘要、依赖同一个AI风险评分、引用同一个数据库。若系统自动生成的摘要写着"常规数据库优化，预计无业务影响"，三位负责人看的都是这句话，都没查实际命令，于是都点了同意。流程上是三人共审，信息结构上只是同一份错误摘要被确认了三次。人数增加了，独立信息却没有增加。 增加审批层同理。第二道防线是否有价值，取决于它能否在第一道失败后发现新问题。用"剩余风险等于漏检率乘以未识别比例"估算： 第一道漏检5%，第二道独立且识别80%→剩余风险=5%×(1−80%)=1%第二道只看同一份摘要、仅识别5%→剩余风险=5%×(1−5%)=4.75% 同样两层流程，前者把风险降到1%，后者几乎原地踏步。组织付出了更多时间、生成了更多日志，真实安全能力却没变。审批的价值不在页面上多了一个名字，而在于它是否带来新的事实、新的验证方式和新的拒绝能力。 真正降低风险的，不是多一个人点击，而是多一个独立的信息来源。 5.AI的"90%确定"，不是现实中的90%安全 当AI说"我有90%把握"，人们容易听成"这件事90%安全"。但置信度只是模型对自身判断的评分，不是现实开出的担保书。一个校准良好的模型，给90%置信度的判断里约九成正确；可现实中的模型可能给90%时实际只对70%，甚至在从没见过的场景里依旧自信。模型最危险的状态，不是承认不知道，而是不知道自己不知道。 即便置信度完全准确，它也只覆盖模型看到的那部分。真实执行还依赖输入是否真实、数据是否完整、审批是否被误导、策略是否过期、设备是否正常。用"串联系统整体可靠度等于各环节可靠度相乘"这条公式来看，假设一条链五个环节各99%可靠： 整体可靠度=99%×99%×99%×99%×99%≈95.1% 每一环单看都优秀，组合后只剩约95.1%。不是哪一环突然变差，而是串联结构会把每一环的不确定性乘在一起、层层累积。环节越多，这种衰减越明显——十个99%的环节串起来，整体可靠度就跌到约90%。这也解释了一个反直觉的现象：把系统拆得越细、加的检查越多，如果这些环节是串联的、必须全部正确，整条链反而更脆弱。 模型可以有90%的把握，但"模型有多少把握"和"这项操作能否被安全执行"，始终是两个不同的问题。 置信度是模型对自己的评价，不是现实对模型的承诺。 6.为什么最后一道边界反而应该更"笨" 如果正确率覆盖不了严重后果、历史数据证明不了零风险、多人审批可能共享同一错误、模型置信度也代表不了全链路安全，那现实执行最终该靠什么？ 答案有点反直觉：最后一道边界不需要比AI更聪明，它应该更简单、更保守。 AI要理解复杂世界——读文件、判意图、处理例外、在不完整信息里给出最可能的答案。最后一道边界不需要理解世界，它只需记住少数绝不能被突破的条件。
| 用一个"所有条件相乘"的判定公式表达： 执行=A×T×W×Q×S其中：金额未超限A、目标在允许范围T、时间在许可窗口W、授权人数达标Q、设备状态正常S（每项满足记1，不满足记0） 任何一项为0，结果就是0，即拒绝执行。它不懂"情况紧急"，不会被一个充分的理由或一段宏大叙事说服，只检查条件是否满足——这正是它的价值。越聪明、越灵活的系统，越擅长为例外找理由；而最后一道边界要做的，恰恰不是理解例外，而是拒绝例外。
| AI可以建议向一个新地址转移资产，边界只需检查这个地址是否经过必要的等待与验证；AI可以判断某项操作非常紧急，边界只需检查紧急状态下是否仍满足金额、授权和设备条件。AI负责处理开放世界的复杂性，边界负责守住封闭世界的底线。 AI需要理解整个世界，边界只需要记住哪些事情绝不能发生。 7.从"提高正确率"到"限制错误的距离" 过去的软件主要追求效率：更快、更准、更自动，就意味着更高的生产力。
| AI时代没有改变这一点，却增加了一个新问题——当一个概率系统拥有了现实执行能力，错误就不再停留在屏幕上。一句错话可以重说，一笔完成的转账可能无法撤回；一个错误建议可以修改，一次已经发生的物理动作却没有第二次机会。 所以AI安全不能只问"怎样让模型少犯错"。模型该更准、数据该更可靠、测试该更全面、审批该更有效，但这些主要解决的仍是"降低出错概率"。执行安全还必须回答另一个问题：一旦错误真的发生，它能走多远？能否越过审批、拿到签名、改动关键系统，把一个概率性的判断直接变成不可逆的现实？ 这两件事都重要，但不是同一件事。前者是把出错的概率往下压，后者是给已经发生的错误装上刹车和护栏，限制它能造成多大的破坏。
| 一个只优化正确率的系统，是在赌坏事永远不发生；一个真正安全的系统，是在假设坏事迟早会发生的前提下，仍然让后果可控、可撤回、可承受。 成熟的系统不会把希望全押在错误永不出现。它承认模型会误判、数据会污染、人会疲劳、审批会被诱导、规则会过期、设备会异常，然后在所有不确定性之后，仍保留一道简单、清晰、独立、能够说"不"的边界。这道边界不追求聪明，只追求可靠；它不参与判断该不该做，只负责守住绝对不能做的那条线。
| 统计学研究不确定性如何出现，安全工程研究的，是不确定性抵达现实之前如何被拦住。最终，我们需要记住的也许只有一句话： 概率可以参与判断，但不能独自拥有执行权。
| 本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。
Current article:http://848yb.laojiusidaosenleliao.bond/0iqg/2gy.html
Published on:11:55:30
