CodeAsWind 2020-08-17
Python进行数据分析的核心库肯定是Pandas,该库差不多可以解决结构化数据的绝大部分处理需求。在《Python数据分析常用函数及参数详解,可以留着以备不时之需 》一文中也已经对该库的常用函数进行了详细介绍。
但是Pandas是构建在Numpy的基础之上的,它的矢量化运算功能在处理数组和矩阵上具有着非常大的优势。虽然普通的数据分析任务可能很少用到Numpy库,但一旦你具有循环需求或是要处理数值型数据时,你应该首先想到该库。
本文整理了该库的一些常用函数和基础知识,整理不易,希望觉得还不错的朋友可以不吝给个赞。
在介绍函数之前先介绍下Numpy库的基本情况,该库最重要的特点就是其ndarray对象,这个对象可以理解成线性代数里面的数组,每个数组有维度和类型等属性。
维度
直观地判断数组对象有几个维度可通过判断其包含在几层[]中,一层[]即为一维。其中,一维数组可看成是向量,二维数组可看成是有行和列的数据,三维数组可看成是有页,且每页中有行和列的数据,至于更高维度就只能意会了。
类型
数组并不是只能存数值型数据,是也可以存字符串的,但它要求元素类型必须一致,不一致时会按照str > float > int的优先级进行类型转变。例如,在一个整数数组中插入字符串,就会将全部元素转成字符串类型。
另外说一下广播机制。通俗地理解广播机制就是当对不同形状的数组进行算术运算时,广播机制会自动将两个数组补全为相同形状的数组。但需要具备以下前提条件之一:两个数组维度数不等时,二者从末尾开始算起的维度的轴长度相等;两个数组维度数相等时,其中一方的有一个维度的长度为1。关于这一点的理解最好是多加练习。
为了更好地理解该库的函数,本文将常用的函数按照下面方式进行分类。
其中基础函数包含对象创建、属性查看、切片索引、形状变换等小类;random模块就是一些常用的随机函数;char模块主要是用来处理字符数组类,也就是数组元素是字符串类型的数据;Matlib是Numpy中的矩阵库,矩阵其实是一种特殊的数组,但它必须是二维的;linglg库是属于线性代数的函数库。
后三个库的函数一般常用于科学计算和图像识别等领域,在数据分析中几乎用不上,因此本文不做介绍,但大家应该知道有这两个库,便于有需求时知道Numpy也具备相应的功能。
以下均用arr表示数组,np表示numpy库
(1)对象创建
array(object, dtype =None,order =None, ndmin =0) #order为创建方式,C为行方向,F为列方向,默认为C,ndmin指定生成数组的最小维度 arange(start=0,stop=4,step=,dtype=) #生成一维数组,不包含stop linspace(start=,stop=,num=,endpoint=True) #生成一维等差数据,endpoint决定是否包含stop值,默认包含 asarray(object,dtype=None,order=None) #将对象转换为数组 zeros(shape,dtype=float,order='C') #生成元素全为0的数组 ones(shape,dtype=float,order='C') #生成元素全为1的数组 eye(N,dtype=float,order='C') #生成对角线元素为1,其余元素为0的N阶矩阵
(2)属性查看
arr.shape #数组的形状 arr.ndim #数组的维度 arr.size #数组的长度 arr.dtype #数组数据类型
(3)切片索引
arr[i] #取i行 arr[[i,j]] #取i,j行 arr[:,i:j] #取i到j-1列 arr[::-1,::-1] #元素反转 np.where(condition,x,y) #condition为真的数组中数据赋值x,否则为y
(4)形状变换
arr.reshape(newshape,order=None) #newshape为新维度,元组格式 arr.flatten(order='C') #将数组平铺为一维数组,order表示按行还是按列,默认按行 arr.T #数组转置 arr.transpose() #数组转置 np.append(arr,values,axis=None) #axis控制返回什么类型,默认返回的是拼接后的一维数组 np.concatenate((arr1,arr2,arr3),axis=0) #可拼接多个数组
(5)统计函数
arr.sum(axis = None) #axis为整数或者元组 arr.mean(axis = None) #计算平均值 arr.std(axis = None) #计算标准差 arr.var(axis = None) #计算方差 np.average(arr,axis =None, weights =None) #计算数组的加权平均值,weights中为权重 np.median(arr,axis=None) # 计算数组中元素的中位数 arr.argmin(axis=None) ##返回数组最小值的位置 arr.argmax(a) #返回数组最大值的位置 np.dot(arr1,arr2) #数组的点积运算
random库