3.6 KiB
pytorch 大版本的主要更新总结
1.11 2022-3-14
更新了一个新库 TorchData
beta 版本 functorch 可组合函数转换。
支持Python 3.10
1.10 2021-10-22
本版其实最大的变化是交叉熵损失增加了label_smoothing，再也不用自己实现了
torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)
支持Android NNAPI （测试版）
torch.fx 已经变为稳定版，也就是说可以在生产上用了
torch.special、nn.Module 参数化（稳定版）
分布式训练的Remote Module、DDP Communication Hook、ZeroRedundancyOptimizer也都变为稳定版
1.9 2021-06-16
torch.linalg,Complex Autograd 已经更新为（稳定版）
torch.norm 已经弃用了，需要使用 torch.linalg.norm
TorchVision库已经可以在IOS/Android上使用
PyTorch Profiler（测试版）: 利用Kineto进行GPU分析，TensorBoard 进行可视化，PyTorch使用教程和文档都已经完善。
TorchVision 0.10：添加了新的SSD和SSDLite模型
TorchAudio 0.9.0：可在非Python 环境（包括C++、Android和iOS）中部署的wav2vec 2.0模型
TorchText 0.10.0：添加了一个新的高性能Vocab模块
1.8 2021-03-05
支持一部分的AMD GPU（测试版）
Complex Autograd （测试版）
提高 NCCL 稳定性，包括异步错误/超时处理，RPC 分析
torch.fft 已经更新为（稳定版），也就是可以在生产环境中使用了
新增torch.linalg，为常见的线性代数运算提供与 NumPy 类似的支持（测试版）
torch.fx （测试版）可以进行 Python 代码转换
pipeline 并行化（测试版）可将 pipeline 并行化作为训练 loop 的一部分
1.7 2020-10-29
支持CUDA 11：CUDA 9.2 - 11
通过 torch.fft 支持 NumPy 兼容的 FFT 操作（测试版）
Windows 系统上的分布式训练：DistributedDataParallel和集合通信提供了原型支持（原型版）
支持Nvidia A100的 原生TF32格式
PyTorch Mobile支持iOS和Android，CocoaPods和JCenter，并分别提供了二进制软件包
TORCHVISION 0.8
1.6 2020-7-29
官方 自动混合精度（AMP）训练 torch.amp,不需要nv的apex
torch.autograd.profiler 内存分析器 （测试版）
不支持python 3.5 以前版本
TORCHVISION 0.7
TORCHAUDIO 0.6
Pytorch1.6版本开始，PyTorch 的特性将分为 Stable（稳定版）、Beta（测试版）和 Prototype（原型版）
1.5 2020-4-21
C++ 前端 API（稳定型）
分布式 RPC 框架 API（稳定型）
不再支持 Python 2
TORCHVISION 0.6
1.4 2020-1-16
optim.lr_scheduler 持「链式更新（chaining）」。即可以定义两个 schedulers，并交替在训练中使用。
Java bindings（实验性） Java bindings 从任何 Java 程序中调用 TorchScript 模型，只支持linux
分布式模型并行训练RPC （实验性）
1.3 2019-10-11
命名张量（实验性） named tensor
量化支持 用 eager 模式进行 8 位模型量化
谷歌云 TPU
PyTorch Mobile 移动端 从 Python 到部署在 iOS 和安卓端
1.2 2019-8-9
官方实现标准的 nn.Transformer 模块
CUDA 9.2 +
TORCHVISION 0.4
D API（Domain API）：torchvision、torchtext 和 torchaudio
1.1 2019-5-1
支持 TensorBoard ： from torch.utils.tensorboard import SummaryWriter
不再支持CUDA 8.0
TORCHVISION 0.3
1.0 2018-12-8
Torch Hub 预训练的模型库
JIT 编译器
C++ 前端 （实验性）
全新的分布式包torch.distributed和 torch.nn.parallel.DistributedDataParallel
0.4 2018-04-25
支持 Windows 系统
Tensor/Variable 合并，取消Variable