据Raspberry Pi News介绍,Cactus Compute展示了14MB的函数调用模型Needle 2:它在树莓派5上仅使用CPU,就能将英文文字指令转为本地操作,无需专用AI HAT。演示中,输入“打开LED”后,设备上的LED在78毫秒后亮起。

Needle 2不是聊天机器人,任务是从预先声明的Python函数中选择要调用的函数,并填写参数。开发者用@needle.tool标记函数后,模型会依据函数名、说明和类型标注生成调用;随后由普通Python代码执行操作。

文章展示的操作包括把文字追加到本地笔记文件、调用vcgencmd读取CPU温度,以及控制LED。一次保存笔记的演示中,run()内部的模型调用耗时107毫秒,完成了函数选择和参数生成。首次下载后,Needle可在本地运行,不需要云端API或网络连接。

原始来源:Turn text input into actions with Needle, a 14MB function-calling LLM