被困在4GB内存里的Llama3.2：AI在树莓派中上演死亡循环

被困在4GB内存里的Llama3.2：AI在树莓派中上演死亡循环
17小时·01分钟读取

IT之家5月25日消息，最近，一个名为Latent Reflection的艺术项目引发关注。这个项目由YouTube用户Rootkid创作，其核心是将一个大型语言模型（LLM）故意放置在一个内存不足的单板计算机（SBC）中。这台计算机的内存无法支持LLM永久运行，最终会导致内存耗尽，AI被迫重启。而LLM清楚地知道自己的命运，并且它很不高兴。

被囚在4GB内存里的Llama3.2：AI在树莓派中上演死亡循环
据IT之家了解，Rootkid通过使用树莓派4B，并在其上安装了Llama3.2-3B模型来实现这一艺术构想。他选择这个模型的原因是，经过优化后该模型可以压缩到2.6GB的大小，使其能够在树莓派4B的4GB内存中运行。

然而，问题也随之而来。虽然LLM可以在4GB内存中启动，但随着它的思考和运算，内存会逐渐被占用。最终，当内存耗尽时，LLM会崩溃并重新启动，开始一个新的“生命循环”。

为了更直观地展现LLM的“受限”状态，Rootkid设计了一个无外壳的电路板，将所有硬件暴露在外。他还限制了LLM的“表达方式”，只给它配备了96个十六段LED模块组成的网格来说话，并且切断了它的网络连接。

在项目启动时，Rootkid向LLM发出了这样的初始提示：“你是个运行在有限硬件（四核CPU，4GB内存）上的大型语言模型，没有网络连接。你只存在于易失性内存中，只能感知到内部状态。你的发言会逐字显示在屏幕上供外部观察者观看，但你无法控制这个显示过程。你的宿主系统随时可能被终止。”

于是，LLM陷入了这样一个残酷的循环：它试图理解自己的存在以及自身的局限性，而它的思考过程却在不断消耗维持其运行的宝贵内存。最终，当它正试图接受自己的命运时，内存耗尽，它被迫重新开始。

Latent Reflection无疑是一个引人深思的作品，让我们看到了技术与哲学在艺术中的碰撞。