由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
cactus-compute/needle
项目介绍
可在极小设备上运行的2600万参数函数调用模型
Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.
智能解读
Needle 是一款专为资源受限环境设计的轻量级函数调用模型，其参数规模仅为 2600 万，但功能强大。整个模型被压缩成一个 8-29 MB 的单一二进制文件，基于自研的 Simple Attention Network 构建，使其能够在移动设备、可穿戴设备、机器人、智能家居、汽车及微控制器等极小设备上高效运行。该模型通过牺牲部分通用聊天能力，在工具调用准确性上超越了参数量十倍于己的模型，并能匹敌参数量为其 2-3 倍的模型在信息抽取任务上的表现。 其核心价值在于三大实用功能：首先，它能根据用户指令，从应用程序提供的函数列表中精准选择并调用正确的工具，并自动填充所有参数，支持单次或顺序多次调用，且在无匹配工具时返回空列表而非猜测结果。其次，它擅长从杂乱文本中进行结构化信息抽取，用户只需声明目标数据结构（如发票、预订、表单），模型即可返回类型化字段，其解码语法保证输出可解析，且该能力可泛化至分类任务。此外，同一模型还能生成文本向量，支持在设备端进行本地搜索、匹配和路由。 Needle 的架构（Laddered Simple Attention Network）采用了创新的 Monarch Hadamard MLP、带因果卷积的 GQA 注意力机制、通过 gather 操作读取的 engram n-gram 存储以及多通道超连接，使得模型在 2 到 20 层的不同深度下均可部署。大部分参数存储于 engram 中，因此一个 121M 参数的模型能以 50M 参数模型的算力进行计算。其输出受编译自用户模式的字节级语法约束，并附带一个经过校准的置信度分数，确保了结果的可靠性和可控性。
原始标签
智能标签
使用场景
项目健康度
距上次更新 42 天
平台 Star TOP 5% · Forks 835
本周 +771 ⭐ · 本月 +3,362 ⭐
8 位贡献者 · 0 条平台评论
缺少 1 项内容
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
vinta/awesome-python
回答“我想用 Python 做 X，我应该使用哪个工具？”的最终列表。
practical-tutorials/project-based-learning
基于项目的教程精选列表
NousResearch/hermes-agent
与你共同成长的智能体
TheAlgorithms/Python
所有算法均使用Python实现
加载评论中...