#电子阅读器本地运行LLM#最近，有网友成功地在水墨屏阅读器上运行了本地的LLM，引起了很多人的关注和讨论！从下面的视频中可以看到，虽然输出的速度稍微有点慢，但模型的运行效果还是比较流畅的。他采用的设备是文石（BOOX）Palma，装有安卓系统，具有8个核心和6GB的RAM，运行的模型是Qwen 2 0.5B。由于文石设备配备了高速刷新模式，相比传统的水墨屏设备来说显示效果会更流畅一些。具体的实现的过程与使用终端模拟器 Termux 在 Android 设备上运行 Ollama 模型的过程类似。你也可以使用其他的开源库，比如exo-explore发布的exo库等。有网友评论说，如果使用专门为计算架构量身定制的推理引擎，模型的响应速度会更快。但Boox 中的 snapdragon SoC 目前还没有相应的优化引擎。还有很多网友表示非常看好水墨屏 + LLM这个方向，有人说“也许这可以帮助孩子们更加专注于学习，同时也可以保护眼睛”，还有很多人认为水墨屏的特点是非常省电，可以当作辅助显示的设备来使用。感兴趣的小伙伴可以跟着教程自己尝试一下！Termux教程：更多讨论：
