Hermes Agent 本地设置提示

在本地模型上运行Hermes Agent，这里有五个技巧： (1) 为什么在小型本地模型上回复感觉无力？ 先检查上下文窗口。Hermes Agent需要至少64,000个token的上下文才能配合工具进行代理工作，当对话超出服务器的窗口时，大多数服务器会静默丢弃较早的消息而不发出警告。 (2) 我应该在我的机器上运行哪个模型？ Hermes Index根据在Hermes Agent内部运行的任务对模型进行评分，综合考虑任务完成情况和每次任务的成本。勾选“仅开放权重”以查看你可以在自己机器上运行的模型。 (3) 我需要Docker才能安全运行它吗？ Docker是可选的。默认情况下，Hermes会在运行每条命令前对照危险模式列表进行检查，并且有风险的命令会经过审批步骤。如果审批提示在300秒内未被回答，则会被拒绝，并且文件编辑工具会被阻止访问~/.ssh和.env文件。 要在容器内运行所有命令，请在config.yaml中添加以下内容： ``` terminal: backend: docker ``` (4) 工具在云端模型上运行，我如何让它们在本地运行？ 工具调用需要模型和服务器的支持。Ollama默认启用工具调用，因此请使用`ollama show <model>`检查你的模型是否支持它。llama.cpp需要在其启动命令中添加`--jinja`，而LM Studio需要0.3.6或更新版本，并搭配具有原生工具支持的模型使用。 (5) 我可以免费运行它吗？ 可以。本地模型不需要API密钥，也不需要订阅。网络搜索在全新安装后无需任何设置即可使用：在没有设置密钥的情况下，Hermes会在多个搜索供应商的免费层级之间轮换。要固定使用免费后端，请在config.yaml中将`web.backend`设置为`ddgs`（DuckDuckGo））或`searxng`（自托管））