基于RWKV可在本地运行的AI小镇开源

11月15日 消息:AI Town RWKV Proxy是一个允许用户在本地通过RWKV代理来运行大型AI城市的项目。该项目基于RWKV，这是一个线性变换器，没有评估妥协，推理成本较低（10-100倍），足够轻便，可以在16GB RAM和任何现代CPU上运行。用户可以选择在不同设备上运行不同大小的模型，甚至可以在Raspberry Pi等低端设备上运行1.5B模型。尽管代码尚未完全优化，但仍有很大的提升空间，特别是在降低CPU使用率的瓶颈方面。

项目地址:https://github.com/recursal/ai-town-rwkv-proxy

• 设置步骤: 用户可以按照提供的步骤，首先在本地设置AI Town，确保其正常运行，然后克隆AI-TOWN-RWKV-proxy项目。通过简单的命令，用户可以选择在CPU、GPU上运行不同大小的模型，从而实现本地AI城市的搭建。

• 使用Cloudflared部署代理: 由于目前存在限制，用户需要通过公共URL将RWKV AI模型路由到云中。推荐的方法是使用cloudflared，用户只需运行几个简单的命令，即可获取公共URL，以便后续使用。

• OpenAI请求路由: 用户需要在convex环境设置中添加OPENAI_API_BASE，并提供openAI键以用于嵌入。这确保了OpenAI请求被正确路由到代理，实现与RWKV的集成。

• 字符数扩展: 产品建议将字符数扩展至最多75个，以确保在AI城市/convex方面不会出现稳定性问题。产品还提供了简单的步骤，用户可以按照说明修改字符数，并在AI城市项目中进行相应更改。

• 关于RWKV: 提供关于RWKV的信息，强调其作为线性变换器的特性，以及推理成本的低廉性，使其适用于各种设备。

AI Town RWKV Proxy为用户提供了在本地构建和运行大型AI城市的便捷方式，通过整合RWKV和convex等技术，实现了更高效的推理过程和更低的硬件要求。