大数跨境
业务合作
首页
0
0

资讯丨谷歌时隔一周发布的新模型gemini-exp-1121，实测竟发现模型能力出现了倒退？

302.AI
2024-12-03
322
shoptop 【建站扶持计划】

免订阅费，免费SEO与代建站，16大主流媒体免费开户

   立即查看>>
大数跨境
导读：资讯丨谷歌时隔一周发布的新模型gemini-exp-1121，实测竟发现模型能力出现了倒退？
时隔gemini-exp-1114发布仅一周，谷歌DeepMind在11月21日再次发布实验AI模型gemini-exp-1121。根据官方介绍，gemini-exp-1121在编码、推理和视觉能力都有提升。
在gemini-exp-1121发布之后，它迅速赢得了Arena榜单的冠军宝座，根据测评结果显示，除了风格控制外，其他方面都位于第一。
但在发布gemini-exp-1121模型后，立即有网友发出灵魂拷问：
“为什么不直接发布gemini-exp-1121，而是要先发布gemini-exp-1114呢？”
这或许也是大家心中疑惑的问题！要知道，就在gemini-exp-1121发布的前一天，OpenAI刚刚推出了GPT-4o的更新版本GPT-4o-2024-11-20，这一时间节点的巧合，让人不得不怀疑DeepMind是否有意在等待OpenAI的更新，以便在此之后再推出他们的模型。
而上周我们在进行grok-vision-beta视觉能力实测的时候，选择了gemini-exp-1121作为实测对比，竟意外发现了gemini-exp-1121视觉方面能力非常出色。今天，我们将通过302.AI进一步实测gemini-exp-1121逻辑推理以及编程方面的能力。
（PS：视觉实测直达链接：
> 在302.AI上使用
首先，我们先看看如何在302.AI上获得gemini-exp-1121模型：
【聊天机器人】
1、进入302.AI，点击“使用机器人”——“聊天机器人”——选择“模型”——在Gemini分类中找到“gemini-exp-1121”。
2、进入聊天机器人后点击页面左下角的设置——可以打开实时预览功能：
【API超市】
1、点击“使用API”——“API超市”——“语言大模型”——选择“Gemini”。
2、选择“Gemini”可以看到列表中已经提供了gemini-exp-1121模型的API，可以根据需求选择“查看文档”或者“在线体验”功能进一步使用。
> 实测对比
气氛已经烘托到这了，那接下来我们实测就选择gemini-exp-1114、gpt-4o-2024-11-20、gemini-exp-1121这三个模型，主要测试逻辑推理、编程等方面的表现。
数学理解测试：
提示词：地面上放着20厘米高的砖。我在上面放了一个30厘米高的花盆。花盆里有10厘米深的土，土上面种着5厘米高的幼苗。从地面到苗头的高度是多少厘米?
分析：首先这一题目的正确答案是35厘米，看下个模型的答案：
gpt-4o-2024-11-20：分析对了一半，最终回答错误
gemini-exp-1121：思路清晰，回答正确。
gemini-exp-1114：并未理解题目，回答错误。
逻辑推理测试：
提示词：
分析：这是一道经典的逻辑推理测试题，来看下三个模型的回答。
gpt-4o-2024-11-20：分析正确，整体篇幅较长，回答正确。
gemini-exp-1121：分析错误，回答错误。
gemini-exp-1114：分析正确且清晰，回答正确。
编程测试：
使用工具：302.AI的聊天机器人——Artifacts功能；
提示词：用前端代码，制作一个2048游戏，将所有代码都放到一个文件输出
gemini-exp-1114：生成的效果能够通过键盘方向键进行游戏，但页面美观性和完整性稍有欠缺。
gemini-exp-1121：同样提示词下，gemini-exp-1121生成的效果仅仅只能看，无论是使用鼠标还是键盘都不能操作游戏，且没有开始游戏按钮。
gpt-4o-2024-11-20：最后gpt-4o-2024-11-20生成的效果具备了美观性，且能够使用键盘操作，但是美中不足是完整性还有欠缺，缺少了得分提示、开始结束等。
o1-preview：最后，看下生成效果比较好的o1-preview的，整个游戏非常完整，而且具备开始游戏等按钮、还有记录得分板块，同时还具有可操作性。
>  总结
通过以上实测可以初步得出以下结论：
数学理解测试：在数学测试中，只有gemini-exp-1121模型真正理解题目并给出正确答案，其余的模型只是对数据进行简单累加，并未能够理解并分析题目的具体情境。
逻辑推理测试：在逻辑测试中，gemini-exp-1114的表现比gemini-exp-1121更好，不仅逻辑清晰，分析的答案易理解，而且给出了正确的答案。
编程测试：对于简单的游戏生成，gemini-exp-1121的表现未能令人满意，生成的效果仅为静态界面，不具备操作性。
综上所述，虽然gemini-exp-1121在各个测试中展现出不同程度的优势，但仍有改进的空间。尤其是在编程能力方面，模型需要进一步优化生成代码的质量和复杂性。但令人不解的是，在逻辑测试和编程测试中，前一版本的表现明显比gemini-exp-1121更好，难道是前一版本的算法更加优化？但无论是gemini-exp-1121还是gemini-exp-1114，都仅为实验性模型，我们可以持续关注Google，看看后续是否对模型有改进。
扫下方二维码加入AI技术群，获得更多技术资讯！
文章来源：【302.AI】公众号
【声明】该内容为作者个人观点，大数跨境仅提供信息存储空间服务，不代表大数跨境观点或立场。版权归原作者所有，未经允许不得转载。如发现本站文章存在版权问题，请联系：contact@10100.com
AI赋能
0
0
302.AI 分享更新更全面的AI资讯。
总阅读27.8k
粉丝0
内容101
咨询
关注