Llama 3每秒输出800个token逼宫openAI！下周奥特曼生日或放出GPT-5？

2024-04-21 阅读 10 收藏 0 评论 0 限时评论得现金

粉丝 0 文章 6432 收藏 0

热门

Llama 3诞生之后便艳压群雄，开源界已无「模」能敌。

甚至，让网友为OpenAI捏了一把汗！

现在的Llama 3-70B已经一路攀升到大模型排行榜前列，仅次于GPT-4，打败了Claude 3 Opus。

没想到，70B都这么能打，400B简直不敢想象。

英伟达高级科学家Jim Fan预言，「GPT-5一定会在Llama 3 400B发布之前出世」！

网址：https://console.groq.com/docs/models

Groq Cloud提供的支持，可以让大家在没有GPU的情况下使用这两个大模型。

这无疑是对硬件资源不足、难以运行模型的微小企业与个人的巨大利好！

并且，Llama3在Groq上的表现也尤为惊艳：模型能以每秒超过800个token的速度运行！‍

而一直以来的大模型王者GPT-4和新晋之秀Claude 3 Opus，其生成速度也仅有每秒36 token和18 token!

这几乎是革命性的飞跃！

00:44

Groq上的Llama3不到3秒就结束了战斗，而GPT-4却用了半分多钟才搞定。

接着另一个程序员网友试着让Llama3创建一个用PHP编写的待办事项列表。

指令刚发出就得到了结果，网友大为震撼，评价这次的使用体验：

「就像光速一样。」

01:31

调用工具所用时间小于4秒，面对复杂的财务问题，回答也仅用了2.9秒。

就连抓取整个网站提供给Llama3，它也可以在短短几秒内就完成响应。

甚至Llama3的8B模型2秒就能让完整的文件从λ-Calculus 转换为惯用的JS……

体验过的网友直接惊呼：这是什么魔法？」

最让人震撼的是，Groq上的模型还都是免费开放的，团队甚至没有制作付费选项！

在如此优秀的性能和强大免费的攻势下，已经有人宣布

「我不会再用GPT-4 Turbo了。」

与Groq上的Llama3的光速响应相比，ChatGPT的缓慢已经引起了大多数用户的不满。

有人制作了使用了Groq上的Llama3后，再切换到ChatGPT上的GPT-4体验的表情包：

更有网友锐评：

「就连Claude都比ChatGPT快！它的缓慢有时让我昏昏欲睡。」

虽然有人厌倦了ChatGPT的缓慢，但也有人认为GPT较慢的生成反而增加了内容的可读性，也更适合人机交互。

「快速获取数据的确非常棒！

但较慢的生成有利于内容的可读性和对任务流程的理解，这对用户体验来说更友好。」

此外，也有人认为Llama3的回答准确率不怎么高，不能只看速度不看质量。