Py学习  »  机器学习算法

Apple MLX深度学习框架完整支持CUDA

aigcrepo • 1 周前 • 59 次点击  


Apple MLX 深度学习框架开发者 @zcbenz 宣布 MLX 现在完整支持 CUDA 后端了,Apple 在下一盘大旗?

MLX 是 Apple 2023年发布的框架,深度结合了 Apple Silicon 芯片,充分利用了统一内存架构,主打大模型推理,很多推理引擎在 Apple 芯片上都采用 MLX,比如 ollama 最近也宣布完整支持 MLX。

MLX 一直认为是相对封闭的产物,比如 Apple GPU 采用 Metal API,GPU 也采用完全自研的架构,为了让 MLX 更加的普及,MLX 选择了 CUDA。

为什么不是 PyTorch 呢?一方面相对复杂,它要兼容各种平台,性能也不能做到最优化。

而 CUDA 虽然是英伟达的私有产品,但英伟达的 GPU 太流行了,兼容或支持英伟达 GPU 非常重要。

这就是 Apple 的选择,让 MLX 可以跨平台跑在 CUDA 上,这样写出来的代码不仅能运行在 Apple Silicon 芯片,也能运行在英伟达 GPU,是不是生态就丰富了?

而那些以前专门基于 CUDA 优化的代码,发现同一套代码也能运行在 Apple 上,是不是也很OK。

对于 Apple 来说,它走的不是大模型路线,而是充分利用自家的软硬件生态,让更多的模型能够在 Apple 设备上运行,尤其在软件生态上进一步和主流 GPU 靠拢。

有意思的是 @zcbenz 居然是 Electron.js 创始人。

欢迎进微信群聊AI,目前已满200人,只能采取邀请方式,感兴趣的看看这篇文章

相关文章:


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/196459