跳转到主要内容

【开源软件】最好的开源软件-2022-第26名 Accelerate

bos 2022 accelerate

如果只需添加四行代码,就可以将大规模的分布式训练和推理添加到任何PyTorch代码中,会怎么样?Huggingface的Accelerate开箱即用,允许您通过简单的配置开关使用TPU设备或微软的DeepSpeed优化等功能。是的,您可以使用分布式训练、分片并行和梯度积累等技术,在十亿参数规模上训练深度学习模型,所有这些都由Accelerate库在幕后处理。确保大模特的培训不仅限于行业中的重量级人物,这对多样性和实验性很重要,因此看到Accelerate成为PyTorch生态系统的一部分令人振奋。

——Ian Pointer

【开源软件】最好的开源软件-2022-第24名 JAX

bos 2022 jax

谷歌广受欢迎的开源TensorFlow机器学习平台的创新包括自动微分(Autograd)和用于深度学习的XLA(加速线性代数)优化编译器。JAX同样来自谷歌,是另一个将这两种技术结合在一起的项目,它在速度和性能方面提供了相当大的好处。当在GPU或TPU上运行时,JAX可以替换其他调用NumPy的程序,但它的程序运行得更快。(Autograd引擎可以自动区分原生Python和NumPy代码。)此外,将JAX用于神经网络可以使添加新功能比扩展TensorFlow等更大的框架更容易。

——马丁·海勒

【Caffe】很棒的Caffe

This page contains a curated list of awesome Caffe examples, tutorials and blogs. It is inspired by awesome-php and awesome-machine-learning.

Contributing

If you think I have missed out on something (or) have any suggestions (papers, implementations and other resources), feel free to pull a request

Feedback and contributions are welcome!