端到端评估locomo数据集使用的LLM是GPT-4o-mini，非开源模型，这个评估就没有使用kv-cache吗？ #78
-
|
|
Beta Was this translation helpful? Give feedback.
Replies: 3 comments
-
|
可以帮忙解答下～ |
Beta Was this translation helpful? Give feedback.
-
|
我们第一个版本仅采用明文记忆进行测试，使用GPT-4o-mini主要目的是为了与当前的记忆框架测试结果保持一致。KV-cache 记忆可以视为对明文记忆的预填充操作的加速，其使用仅限于本地开源模型，并且理论上不会影响模型的输出结果。我们在表 5 的测试中也验证了这一点。我们计划在后续版本中加入对 KV-cache 的评估流程及相应的测试结果。 |
Beta Was this translation helpful? Give feedback.
-
|
Hey @xxlxx1! Thanks for the contribution — already solved the issue, thanks for helping us to improve our project! 📈 Btw if you enjoyed contributing and want to stay connected with the project, we run a Discord server for contributors, a chill space to discuss features, ask questions, or pick up new issues 👉🏻 MemOS Discord Server (Contributor Exclusive) Thanks again for shipping this, and happy MemOSing 🧠✨ |
Beta Was this translation helpful? Give feedback.
我们第一个版本仅采用明文记忆进行测试，使用GPT-4o-mini主要目的是为了与当前的记忆框架测试结果保持一致。KV-cache 记忆可以视为对明文记忆的预填充操作的加速，其使用仅限于本地开源模型，并且理论上不会影响模型的输出结果。我们在表 5 的测试中也验证了这一点。我们计划在后续版本中加入对 KV-cache 的评估流程及相应的测试结果。