morexyoung 2020-02-17
在家为国家做贡献太无聊,不如跟我一起学点 Python
人生苦短,我用 Python
前文传送门:
小白学 Python 数据分析(2):Pandas (一)概述
小白学 Python 数据分析(3):Pandas (二)数据结构 Series
DataFrame 是由多种类型的列构成的二维标签数据结构。
简单理解是类似于 Excel 、 SQL 表的结构。
DataFrame 是最常用的 Pandas 对象,与 Series 一样,DataFrame 支持多种类型的输入数据:
同 Excel 一样, DataFrame 拥有行标签( index )和列标签( columns ),可以理解为 Excel 的行和列。
在构建 DataFrame 的时候,可以有选择的传递 index 和 columns 参数。
这样可以确保生成的 DataFrame 里包含索引或列。
注意: Python > = 3.6,且 Pandas > = 0.23,数据是字典,且未指定 columns 参数时,DataFrame 的列按字典的插入顺序排序。
Python < 3.6 或 Pandas < 0.23,且未指定 columns 参数时,DataFrame 的列按字典键的字母排序。
先看一个简单的示例:
d = {'one': pd.Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])} df = pd.DataFrame(d) print(df)
结果如下:
one two a 1.0 1.0 b 2.0 2.0 c 3.0 3.0 d NaN 4.0
在通过 Series 构建 DataFrame 的时候,生成的 index (索引)是每个 Series 索引的并集。
先把嵌套字典转换为 Series 。如果没有指定列, DataFrame 的列就是字典键的有序列表。
这里我们在字典中使用两个字符串 one
和 two
作为字典的 key ,在构造 DataFrame 时会自动的使用我们的字典的 key 作为自己的 columns (列)。
如果我们在构造 DataFrame 手动指定索引,那么将会使用我们自行指定的索引,示例如下:
df1 = pd.DataFrame(d, index=['d', 'b', 'a']) print(df1)
结果如下:
one two d NaN 4.0 b 2.0 2.0 a 1.0 1.0
如果我们同时指定 index 和 column ,那么 DataFrame 也将会使用我们指定的索引和列,如果我们指定的 index 或者 column 不存在,将会使用 NaN 进行默认值填充,示例如下:
df2 = pd.DataFrame(d, index=['d', 'b', 'a'], columns=['two', 'three']) print(df2)
结果如下:
two three d 4.0 NaN b 2.0 NaN a 1.0 NaN
注意: 这里有一点需要注意,指定列与数据字典一起传递时,传递的列会覆盖字典的键。
在使用 Series 构建 DataFrame 时, DataFrame 会自动继承 Series 的索引,如果没有指定列名,默认列名是输入 Series 的名称。
首先,多维数组的长度必须相同。
如果传递了索引参数,index 的长度必须与数组一致。
如果没有传递索引参数,那么将会按照序列从 0 开始,自动生成,示例如下:
d1 = {'one': [1., 2., 3., 4.], 'two': [4., 3., 2., 1.]} df3 = pd.DataFrame(d1) print(df3) df4 = pd.DataFrame(d1, index=['a', 'b', 'c', 'd']) print(df4)
结果如下:
one two 0 1.0 4.0 1 2.0 3.0 2 3.0 2.0 3 4.0 1.0 one two a 1.0 4.0 b 2.0 3.0 c 3.0 2.0 d 4.0 1.0
d2 = [{'a': 1, 'b': 2}, {'a': 5, 'b': 10, 'c': 20}] df5 = pd.DataFrame(d2) print(df5) df6 = pd.DataFrame(d2, index=['first', 'second'], columns=['a', 'b']) print(df6)
结果如下:
a b c 0 1 2 NaN 1 5 10 20.0 a b first 1 2 second 5 10
元组字典可以自动创建多层索引 DataFrame。
d3 = ({('a', 'b'): {('A', 'B'): 1, ('A', 'C'): 2}, ('a', 'a'): {('A', 'C'): 3, ('A', 'B'): 4}, ('a', 'c'): {('A', 'B'): 5, ('A', 'C'): 6}, ('b', 'a'): {('A', 'C'): 7, ('A', 'B'): 8}, ('b', 'b'): {('A', 'D'): 9, ('A', 'B'): 10}}) df7 = pd.DataFrame(d3) print(df7)
结果如下:
a b b a c a b A B 1.0 4.0 5.0 8.0 10.0 C 2.0 3.0 6.0 7.0 NaN D NaN NaN NaN NaN 9.0
创建好了 DataFrame 以后,我们自然是希望可以动态的操作它,那么标准的 CRUD 操作必不可少。
获取数据示例如下,这里我们使用 df4 做演示:
# 获取数据 print(df4) # 按列获取 print(df4['one']) # 按行获取 print(df4.loc['a']) print(df4.iloc[0]) df4['three'] = df4['one'] * df4['two'] df4['flag'] = df4['one'] > 2 print(df4)
结果如下:
one two a 1.0 4.0 b 2.0 3.0 c 3.0 2.0 d 4.0 1.0 a 1.0 b 2.0 c 3.0 d 4.0 Name: one, dtype: float64 one 1.0 two 4.0 Name: a, dtype: float64 one 1.0 two 4.0 Name: a, dtype: float64 one two three flag a 1.0 4.0 4.0 False b 2.0 3.0 6.0 False c 3.0 2.0 6.0 True d 4.0 1.0 4.0 True
# 删除数据 del df4['two'] df4.pop('three') print(df4)
结果如下:
one flag a 1.0 False b 2.0 False c 3.0 True d 4.0 True
插入标量值,将会全部的列都插入,如下:
# 插入数据 df4['foo'] = 'bar' print(df4)
结果如下
one flag foo a 1.0 False bar b 2.0 False bar c 3.0 True bar d 4.0 True bar
插入与 DataFrame 索引不同的 Series 时,以 DataFrame 的索引为准:
df4['one_trunc'] = df4['one'][:2] print(df4)
结果如下:
one flag foo one_trunc a 1.0 False bar 1.0 b 2.0 False bar 2.0 c 3.0 True bar NaN d 4.0 True bar NaN
可以插入原生多维数组,但长度必须与 DataFrame 索引长度一致。
可以使用 insert 方法插入数据,默认在 DataFrame 尾部插入列,但是可以手动指定插入列的位置,从 0 起算,示例如下:
df4.insert(1, 'bar', df4['one']) print(df4)
结果如下:
one bar flag foo one_trunc a 1.0 1.0 False bar 1.0 b 2.0 2.0 False bar 2.0 c 3.0 3.0 True bar NaN d 4.0 4.0 True bar NaN
老规矩,所有的示例代码都会上传至代码管理仓库 Github 和 Gitee 上,方便大家取用。
Series是一种类似于一维数组的对象,由一组数据以及一组与之对应的索引组成。 index: 索引序列,必须是唯一的,且与数据的长度相同. 如果没有传入索引参数,则默认会自动创建一个从0~N的整数索引