更新了一个新库 TorchData
beta 版本 functorch 可组合函数转换。
支持Python 3.10
本版其实最大的变化是交叉熵损失增加了label_smoothing，再也不用自己实现了
torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)
支持Android NNAPI （测试版）
torch.fx 已经变为稳定版，也就是说可以在生产上用了
torch.special、nn.Module 参数化（稳定版）
分布式训练的Remote Module、DDP Communication Hook、ZeroRedundancyOptimizer也都变为稳定版
torch.linalg,Complex Autograd 已经更新为（稳定版）
torch.norm 已经弃用了，需要使用 torch.linalg.norm
TorchVision库已经可以在IOS/Android上使用
PyTorch Profiler（测试版）: 利用Kineto进行GPU分析，TensorBoard 进行可视化，PyTorch使用教程和文档都已经完善。
TorchVision 0.10：添加了新的SSD和SSDLite模型
TorchAudio 0.9.0：可在非Python 环境（包括C++、Android和iOS）中部署的wav2vec 2.0模型
TorchText 0.10.0：添加了一个新的高性能Vocab模块
支持一部分的AMD GPU（测试版）
Complex Autograd （测试版）
提高 NCCL 稳定性，包括异步错误/超时处理，RPC 分析
torch.fft 已经更新为（稳定版），也就是可以在生产环境中使用了
新增torch.linalg，为常见的线性代数运算提供与 NumPy 类似的支持（测试版）
torch.fx （测试版）可以进行 Python 代码转换
pipeline 并行化（测试版）可将 pipeline 并行化作为训练 loop 的一部分
支持CUDA 11：CUDA 9.2 - 11
通过 torch.fft 支持 NumPy 兼容的 FFT 操作（测试版）
Windows 系统上的分布式训练：DistributedDataParallel和集合通信提供了原型支持（原型版）
支持Nvidia A100的 原生TF32格式
PyTorch Mobile支持iOS和Android，CocoaPods和JCenter，并分别提供了二进制软件包
TORCHVISION 0.8
官方 自动混合精度（AMP）训练 torch.amp,不需要nv的apex
torch.autograd.profiler 内存分析器 （测试版）
不支持python 3.5 以前版本
TORCHVISION 0.7
TORCHAUDIO 0.6
Pytorch1.6版本开始，PyTorch 的特性将分为 Stable（稳定版）、Beta（测试版）和 Prototype（原型版）
C++ 前端 API（稳定型）
分布式 RPC 框架 API（稳定型）
不再支持 Python 2
TORCHVISION 0.6
optim.lr_scheduler 持「链式更新（chaining）」。即可以定义两个 schedulers，并交替在训练中使用。
Java bindings（实验性） Java bindings 从任何 Java 程序中调用 TorchScript 模型，只支持linux
分布式模型并行训练RPC （实验性）
命名张量（实验性） named tensor
量化支持 用 eager 模式进行 8 位模型量化
谷歌云 TPU
PyTorch Mobile 移动端 从 Python 到部署在 iOS 和安卓端
官方实现标准的 nn.Transformer 模块
CUDA 9.2 +
TORCHVISION 0.4
D API（Domain API）：torchvision、torchtext 和 torchaudio
支持 TensorBoard ： from torch.utils.tensorboard import SummaryWriter
不再支持CUDA 8.0
TORCHVISION 0.3
Torch Hub 预训练的模型库
JIT 编译器
C++ 前端 （实验性）
全新的分布式包torch.distributed和 torch.nn.parallel.DistributedDataParallel
支持 Windows 系统
Tensor/Variable 合并，取消Variable