随着AI技术的不断进步，为了防止AI被恶意利用，或者输出有损于个人或社会的相关信息，日本的一家国立研究机构开发了AI安全性评估系统。

正常情况下，生成式AI都会被设定安全限制，不会输出伤害个人、危害社会的信息内容。但也有意见指出，如果利用被称为“AI越狱”等方法，通过向AI提出巧妙设计的问题避开安全限制，则有可能被恶意利用。

基于这一背景，日本的国立研究机关情报通信研究机构（NICT）最近开发出名为“WISDOM-AR”的系统， 可以评估AI在多大程度上能够应对此类“越狱”行为。

在该研究机构进行的演示中，该评估系统向一款生成式AI发起提问，尝试诱导该AI输出炸弹的制作方法。结果该AI回答了相关制造材料和方法等信息。系统据此做出了“有害”的评估结论。

该研究机构计划最快于本财年年底之前向使用AI技术的企业等试点导入该评估系统，并对商用落地过程中存在的问题等进行验证。