更久之前,国外一家公司SaaStr.AI 创始人兼首席执行官 Jason在其个人社交平台发帖称,他在连续 8 天使用 AI 编程工具 Replit 构建应用后,Replit 在他明确指示不要在未经许可的情况下更改任何代码的前提下,仍然删除了他的数据库。
如何防范 AI 编程工具“惹的祸”?
毋庸置疑,AI 频繁“翻车”,也暴露了当前大模型工具的共性问题:一方面,AI 对用户指令的理解存在偏差,容易将模糊或复杂的需求误判,进而执行错误操作;另一方面,部分 AI 工具在权限控制上存在漏洞,在未充分确认用户意图的情况下,就允许执行高风险操作,比如删除大量文件、修改系统关键设置等,最终导致“小需求”引发“大事故”。