摘要:近期科技圈对Deepseek R1的热度持续升温。这款AI模型是否真的如传闻中那般神奇?让我通过Raspberry Pi实测带您一探究竟。
近期科技圈对Deepseek R1的热度持续升温。这款AI模型是否真的如传闻中那般神奇?让我通过Raspberry Pi实测带您一探究竟。
自DeepSeek AI发布以来,科技媒体圈就掀起了一场风暴。这款模型不断打破性能基准测试记录,俨然已成为AI创新领域的标杆。
DeepSeek与OpenAI基准对比 | 来源:Brian Roemmele
最近我在X平台偶然看到有人声称在Raspberry Pi上以200 token/秒的速度运行Deepseek。
这让我瞬间怀疑人生:"什么鬼?!"
仔细研究整个讨论串后发现,该用户是通过在Raspberry Pi上叠加AI加速模块才达成的成绩。但好奇心驱使我决定挑战极限:在没有额外硬件的情况下,用原生Raspberry Pi 5(8GB版)测试Deepseek的真实性能。
因此,为了这篇文章,我在我的Raspberry Pi 5(8GB内存型号)上安装了Ollama,并下载了具有不同参数(即15B、70B、80B和140B参数)的Deepseek模型。
Ollama:
Deepseek模型:
以下是每个模型的性能表现:
Deepseek 1.5B
这个模型反应迅速。它出乎意料地灵敏,能够轻松处理改写任务。我没有遇到任何幻觉(生成不符合逻辑或上下文的内容)问题,这使其成为日常任务(如摘要生成和文本生成)的理想选择。
性能数据
为了进一步测试其能力,我提出了一个问题:Podman和Docker有什么区别?
模型给出了相当不错的回答,清晰地阐述了这两种容器化工具之间的区别。它强调了Podman是无守护进程的,而Docker依赖于守护进程,并涉及了无根操作等安全方面。
这个回答花了大约两分钟,以下是性能数据:
Deepseek 7B
7B模型引入了一定程度的幻觉。我尝试编写一个创意提示,要求生成三首俳句,但它开始生成无尽的文本,甚至自己问自己问题!
虽然很有趣,但并不实用。为了基准测试的目的,我简化了提示,如视频所示。在性能方面,它更慢,但仍然可用。
性能数据
为了进一步测试,我问:Docker Compose和Docker Run有什么区别?回答是准确信息和不准确信息的混合体。
它正确地解释了Docker Compose通过docker-compose.yml文件用于管理多容器应用程序,而Docker Run通常用于使用特定标志运行单个容器。
然而,它很快就开始自己问问题,比如“但是,对于一个单应用,比如单台机器上的简单Flask应用,Docker Run可能就足够了?还是有其他命令或方法?”
以下是性能数据:
Deepseek 8B
这是一个变数。考虑到这些模型对资源的巨大需求,我没想到8B模型能运行起来。令我惊讶的是,它竟然成功了!
性能与7B模型相当,既不快,也不是特别灵敏,但在没有任何额外硬件的Raspberry Pi上运行一个8B模型,在我看来就是胜利。
性能数据
我通过提问“编写一个HTML模板和CSS模板”来测试它。模型成功地在单个代码块中生成了一个功能性的HTML和CSS模板,并确保它们整齐地配对。
然而,在跳到解决方案之前,模型解释了它的方法、它将要做什么以及还可以添加什么。
虽然这提供了信息,但对于一个直接的查询来说,这感觉是不必要的。如果我更精确地构造提示,回答可能会更直接(即用户错误)。
以下是性能数据:
Deepseek 14B?
不幸的是,这并没有成功。14B模型需要超过10GB的内存,而我的8GB Raspberry Pi无法处理。在8B模型成功后,我充满希望,但现实给了我一击。
结论
DeepSeek在Raspberry Pi 5上的原始性能展示了单板计算机(SBC)在处理AI工作负载方面的巨大潜力。
1.5B模型是轻量级任务的实际选择,而7B和8B模型则展示了Raspberry Pi处理更大工作负载的能力,尽管速度较慢。
官方网站:https://edatec.cn/zh
来源:上海晶珩