皇冠代理:但这些属性不能在现实世界中使用

有人说高分是AI模型的兴奋剂。因此，一些人工智能为了达到好的效果，经常刷名单。

微软的2020年报告指出，包括Microsoft、谷歌和Amazon在内的各种sota模型中包含了很多隐性错误，比如将句子中的“what’s”改为“what is”，模型的输出将会完全不同。在此之前，没有人意识到这些曾经被评级的商业模式在应用中可能会如此糟糕。显然，通过这种方式训练出来的AI模型就像一个只能考试，皇冠代理，成绩优秀的学生。他可以成功地通过科学家们设定的各种基准测试，但他不明白为什么。

“为了取得好的结果，研究人员可能会使用特殊的硬件和软件设置来调整和处理模型，使人工智能在测试中表现良好，但这些属性不能在现实世界中使用。”西安电子科技大学研究员尚昆指出。

在智能手机领域，当我们谈论使用手机的体验时，我们通常涉及到手机的性能。这些表演通常用乐谱来表达。但是我们经常会遇到一款手机，它的运行分数在排名中处于领先水平，但在实际使用过程中却出现了动画帧掉、页面滑动冻结、应用程序挂起动画等现象。来自全球顶级测评网站AnandTech的一份报告对这一现象提出了质疑，指出某品牌手机在运行点时激活了“性能模式”，但在正常使用中很少调用“性能模式”。虽然这种处理方法可以获得较高的运行评分，但它不能模拟用户的真实使用场景，这使得基准测试毫无用处。

尚坤认为，针对上述问题，改进基准的方法主要有:一是增加数据集，加大基准的难度。用看不见的数据进行检验，判断AI模型是否能避免过拟合。研究人员可以创建一个动态的数据收集和基准测试平台，为每个任务众包他们认为会被人工智能模型错误分类的数据，以及成功将该模型纳入基准测试的例子。如果动态收集数据添加注释，并对模型进行迭代训练，而不是使用传统的静态方法，那么AI模型应该能够实现更实质性的进化。