PyTorch中Tensor和tensor的区别及说明

目录
  • Tensor和tensor的区别
  • pytorch Tensor变形函数
    • Tensor的排序与取极值
    • Tensor与NumPy转换

Tensor和tensor的区别

本文列举的框架源码基于PyTorch1.0，交互语句在0.4.1上测试通过

import torch

在PyTorch中，Tensor和tensor都能用于生成新的张量：

>>> a=torch.Tensor([1,2])
>>> a
tensor([1., 2.])
>>> a=torch.tensor([1,2])
>>> a
tensor([1, 2])

但是这二者的用法有什么区别呢？我没有找到合适的中文资料，英文的资料如 https://discuss.pytorch.org/t/what-is-the-difference-between-tensor-and-tensor-is-tensor-going-to-be-deprecated-in-the-future/17134/8 也已经过时了，那就自己动手丰衣足食吧。

首先，我们需要明确一下，torch.Tensor()是python类，更明确地说，是默认张量类型torch.FloatTensor()的别名，torch.Tensor([1,2])会调用Tensor类的构造函数__init__，生成单精度浮点类型的张量。

>>> a=torch.Tensor([1,2])
>>> a.type()
'torch.FloatTensor'

而torch.tensor()仅仅是python函数：https://pytorch.org/docs/stable/torch.html#torch.tensor ，函数原型是：

torch.tensor(data, dtype=None, device=None, requires_grad=False)

其中data可以是：list, tuple, NumPy ndarray, scalar和其他类型。

torch.tensor会从data中的数据部分做拷贝（而不是直接引用），根据原始数据类型生成相应的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor。

>>> a=torch.tensor([1,2])
>>> a.type()
'torch.LongTensor'
>>> a=torch.tensor([1.,2.])
>>> a.type()
'torch.FloatTensor'
>>> a=np.zeros(2,dtype=np.float64)
>>> a=torch.tensor(a)
>>> a.type()
'torch.DoubleTensor'

这里再说一下torch.empty()，根据 https://pytorch.org/docs/stable/torch.html?highlight=empty#torch.empty ，我们可以生成指定类型、指定设备以及其他参数的张量，由于torch.Tensor()只能指定数据类型为torch.float，所以torch.Tensor()可以看做torch.empty()的一个特殊情况。

最后放一个小彩蛋

>>> a=torch.tensor(1)
>>> a
tensor(1)
>>> a.type()
'torch.LongTensor'
>>> a=torch.Tensor(1)
>>> a
tensor([0.])
>>> a.type()
'torch.FloatTensor'

pytorch Tensor变形函数

view(), resize(), reshape() 在不改变原tensor数据的情况下修改tensor的形状，前后要求元素总数一致，且前后tensor共享内存

如果想要直接改变Tensor的尺寸，可以使用resize_()的原地操作函数。

在resize_()函数中，如果超过了原Tensor的大小则重新分配内存，多出部分置0，如果小于原Tensor大小则剩余的部分仍然会隐藏保留。

transpose()函数可以将指定的两个维度的元素进行转置，而permute()函数则可以按照给定的维度进行维度变换。

在实际的应用中，经常需要增加或减少Tensor的维度，尤其是维度为1的情况，这时候可以使用squeeze()与unsqueeze()函数，前者用于去除size为1的维度，而后者则是将指定的维度的size变为1。

有时需要采用复制元素的形式来扩展Tensor的维度，这时expand就派上用场了。

expand()函数将size为1的维度复制扩展为指定大小，也可以使用expand_as()函数指定为示例Tensor的维度。

注意：在进行Tensor操作时，有些操作如transpose()、permute()等可能会把Tensor在内存中变得不连续，而有些操作如view()等是需要Tensor内存连续的，这种情况下需要使用contiguous()操作先将内存变为连续的。在PyTorch v0.4版本中增加了reshape()操作，可以看做是Tensor.contiguous().view()

Tensor的排序与取极值

排序函数sort()，选择沿着指定维度进行排序，返回排序后的Tensor及对应的索引位置。max()与min()函数则是沿着指定维度选择最大与最小元素，返回该元素及对应的索引位置。

Tensor与NumPy转换

Tensor与NumPy可以高效地进行转换，并且转换前后的变量共享内存。在进行PyTorch不支持的操作时，甚至可以曲线救国，将Tensor转换为NumPy类型，操作后再转为Tensor。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • pytorch关于Tensor的数据类型说明

    pytorch关于Tensor的数据类型说明

    目录 关于Tensor的数据类型说明 pytorch Tensor变形函数 Tensor的排序与取极值 Tensor与NumPy转换 关于Tensor的数据类型说明 1. 32位浮点型:torch.FloatTensor a=torch.Tensor( [[2,3],[4,8],[7,9]], ) print "a:",a print "a.size():",a.size() print "a.dtype:",a.dtype b=torch.Fl

  • pytorch中函数tensor.numpy()的数据类型解析

    pytorch中函数tensor.numpy()的数据类型解析

    目录 函数tensor.numpy()的数据类型 tensor数据和numpy数据转换中注意的一个问题 函数tensor.numpy()的数据类型 今天写代码的时候,要统计一下标签数据里出现的类别总数和要分类的分类数是不是一致的. 我的做法是把tensor类型的数据转变成list,然后用Counter函数做统计. 代码如下: from collections import Counter List_counter = Counter(List1) #List1就是待统计的数据,是一维的列表.生成

  • pytorch中Tensor.to(device)和model.to(device)的区别及说明

    pytorch中Tensor.to(device)和model.to(device)的区别及说明

    目录 Tensor.to(device)和model.to(device)的区别 区别所在 举例 pytorch学习笔记--to(device)用法 这段代码到底有什么用呢? 为什么要在GPU上做运算呢? .cuda()和.to(device)的效果一样吗?为什么后者更好? 如果你有多个GPU Tensor.to(device)和model.to(device)的区别 区别所在 使用GPU训练的时候,需要将Module对象和Tensor类型的数据送入到device.通常会使用 to.(devic

  • 浅谈tensorflow与pytorch的相互转换

    浅谈tensorflow与pytorch的相互转换

    目录 1.变量预定义 2.创建变量并初始化 3.语句执行 4.tensor 5.其他函数 本文以一段代码为例,简单介绍一下tensorflow与pytorch的相互转换(主要是tensorflow转pytorch),可能介绍的没有那么详细,仅供参考. 由于本人只熟悉pytorch,而对tensorflow一知半解,而代码经常遇到tensorflow,而我希望使用pytorch,因此简单介绍一下tensorflow转pytorch,可能存在诸多错误,希望轻喷~ 1.变量预定义 在TensorFlo

  • Pytorch中使用TensorBoard详情

    Pytorch中使用TensorBoard详情

    目录 前言 一. Introduction to TensorBoard 二.TensoBoard Pipeline 三.后端数据记录 1. SummaryWriter类 2. 添加数据 3. 关闭SummaryWriter 4. Summary 四.前端显示数据 1. 默认使用 2. 修改端口 五.Summary 1. SummaryWriter APIs 本文记录了如何在Pytorch中使用Tensorboard(主要是为了备忘) 前言 虽然我本身就会用TensorBoard,但是因为Ten

  • 在Pytorch中计算卷积方法的区别详解(conv2d的区别)

    在二维矩阵间的运算: class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 对由多个特征平面组成的输入信号进行2D的卷积操作.详解 torch.nn.functional.conv2d(input, weight, bias=None, stride=1, padding=0, dilation=1, groups=1)

  • PyTorch中view()与 reshape()的区别详析

    PyTorch中view()与 reshape()的区别详析

    目录 前言 一.PyTorch中tensor的存储方式 1.PyTorch张量存储的底层原理 2.PyTorch张量的步长(stride)属性 二.对“视图(view)”字眼的理解 三.view() 和reshape() 的比较 1.对 torch.Tensor.view() 的理解 2.对 torch.reshape() 的理解 四.总结 前言 总之,两者都是用来重塑tensor的shape的.view只适合对满足连续性条件(contiguous)的tensor进行操作,而reshape同时还

  • Pytorch中的variable, tensor与numpy相互转化的方法

    Pytorch中的variable, tensor与numpy相互转化的方法

    在使用pytorch作为深度学习的框架时,经常会遇到变量variable.张量tensor与矩阵numpy的类型的相互转化的问题,本章结合这实际图像对此转化方法进行实现. 1.加载需要用到的模块 import torch from torch.autograd import Variable import matplotlib.pyplot as plt import matplotlib.image as mpimg 2.显示图片与图片中的一部分区域 test_img = mpimg.imre

  • PyTorch中 tensor.detach() 和 tensor.data 的区别详解

    PyTorch0.4中,.data 仍保留,但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里,且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 . .detach() 返回相同数据的 tensor ,且 requires_grad=False ,但能通过 in-place 操作报告给 autograd 在进行反向传播的时候. 举例: ten

  • PyTorch中torch.tensor与torch.Tensor的区别详解

    PyTorch最近几年可谓大火.相比于TensorFlow,PyTorch对于Python初学者更为友好,更易上手. 众所周知,numpy作为Python中数据分析的专业第三方库,比Python自带的Math库速度更快.同样的,在PyTorch中,有一个类似于numpy的库,称为Tensor.Tensor自称为神经网络界的numpy. 一.numpy和Tensor二者对比 对比项 numpy Tensor 相同点 可以定义多维数组,进行切片.改变维度.数学运算等 可以定义多维数组,进行切片.改变

  • PyTorch中Tensor和tensor的区别及说明

    PyTorch中Tensor和tensor的区别及说明

    目录 Tensor和tensor的区别 pytorch Tensor变形函数 Tensor的排序与取极值 Tensor与NumPy转换 Tensor和tensor的区别 本文列举的框架源码基于PyTorch1.0,交互语句在0.4.1上测试通过 import torch 在PyTorch中,Tensor和tensor都能用于生成新的张量: >>> a=torch.Tensor([1,2]) >>> a tensor([1., 2.]) >>> a=to

  • 详解Pytorch中的tensor数据结构

    详解Pytorch中的tensor数据结构

    目录 torch.Tensor Tensor 数据类型 view 和 reshape 的区别 Tensor 与 ndarray 创建 Tensor 传入维度的方法 torch.Tensor torch.Tensor 是一种包含单一数据类型元素的多维矩阵,类似于 numpy 的 array.Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成,生成的是dtype 默认是 torch.FloatTensor. 注意 torch.tensor() 总是

  • 在PyTorch中Tensor的查找和筛选例子

    本文源码基于版本1.0,交互界面基于0.4.1 import torch 按照指定轴上的坐标进行过滤 index_select() 沿着某tensor的一个轴dim筛选若干个坐标 >>> x = torch.randn(3, 4) # 目标矩阵 >>> x tensor([[ 0.1427, 0.0231, -0.5414, -1.0009], [-0.4664, 0.2647, -0.1228, -1.1068], [-1.1734, -0.6571, 0.7230,

随机推荐