Easy同学正在独立开发 gemma-3-27b-it GGUF版在 Mac Mini M4上的 first token 太慢了,mlx 明显快很多。但 mlx 版本有bug,必须先发一张图过去,不然模型就会一直 pad pad ……


Easy同学正在独立开发 gemma-3-27b-it GGUF版在 Mac Mini M4上的 first token 太慢了,mlx 明显快很多。但 mlx 版本有bug,必须先发一张图过去,不然模型就会一直 pad pad ……


作者最新文章
热门分类
科技TOP
科技最新文章