从技术上讲,MC-Bench 是一个编程基准,因为模型需要编写代码来创建所提示的构建,如「冰霜雪人」(Frosty the Snowman)或「原始沙滩上迷人的热带海滨小屋」(a charming tropical beach hut on a ...
由于传统的AI 基准测试技术已被证明不够充分,AI 开发者开始采用更具创造性的方式来评估生成式 AI 模型的能力。对于一组开发者来说,这就是微软旗下的沙盒建造游戏 Minecraft。 Minecraft Benchmark (或 ...
MC-Bench网站提供了一个直观有趣的AI模型评测方式。开发者们将不同的提示输入到参与测试的AI模型中,模型则会生成相应的《我的世界》建筑。用户可以在不清楚哪个作品由哪个AI模型创建的情况下,对这些建筑进行投票,选出他们认为更符合提示、更优秀的那个。只有在投票结束后,用户才能看到每个建筑背后的“创造者”。这种“盲选”机制旨在更客观地反映AI模型的实际生成能力。
高中生Adi Singh与团队合作开发的Minecraft Benchmark(简称MC-Bench)网站允许AI模型在面对面的挑战中相互竞争,通过Minecraft创作来回应各种提示。用户可以投票选出表现更佳的模型,投票后才能看到每个作品背后的AI制作者。
一些您可能无法访问的结果已被隐去。
显示无法访问的结果