作者:小小明

源于群管理员林胖发出的一道基础题:

image-20210117204240080

基础解法explode函数

这道题最简单的解法,相信大部分用过pandas的朋友都会,林胖也马上发出了自己的答案:

import pandas as pd

mydict = {'A': [1], 'B': [2, 3], 'C': [4, 5, 6]}
pd.DataFrame(mydict.items()).explode(1)

结果:

image-20210117204507756

详解

mydict.items()是python基础字典的内容,它返回了这个字典键值对组成的元组列表:

mydict.items()

返回:

dict_items([('A', [1]), ('B', [2, 3]), ('C', [4, 5, 6])])

将这个内部是元组的可迭代对象传入DataFrame的构造函数中:

pd.DataFrame(mydict.items())

返回结果:

image-20210117210813746

这是pandas最基础的开篇知识点使用可迭代对象构造DataFrame,列表的每个元素都是整个DataFrame对应的一行,而这个元素内部迭代出来的每个元素将构成DataFrame的某一列。

然后再看看这个explode函数,它是pandas 0.25版本才出现的函数,只有一个参数可以传入列名,然后该函数就可以把该列的列表每个元素扩展到多行上。

效果与hive使用lateral view+explode实现的效果几乎一致,类似于:

select a,b_i from df lateral view explode(b) tmp as b_i;

可以参考很早之前的一篇文章:https://blog.csdn.net/as604049322/article/details/105985770

没有exlode函数如何解决这个问题

但是,黄佬说版本太低没有这个函数,于是我给群友们出了一道题:

image-20210117214330202

在群主的邀请下,一位经过我多次辅导的群友率先使用了循环法解题:

image-20210117214609893

我觉得非常棒,但我也希望看到有人再用变形法实现一次。林胖和一位群友再次给出了简化版本的循环解法:

image-20210117215149606

经过一番提示后,小五哥和林胖终于给出了变形法的解法:

image-20210117215652916

非常不错,群友们终于独立的多思路解决了这个问题,真的要撒花呀!!!

下面我们详细分析一下,循环法和变形法的解法吧:

循环法解题

基本写法:

result = []
for k, vs in mydict.items():
    for v in vs:
        result.append((k, v))
pd.DataFrame(result)

本质上就是实现了一个笛卡尔积的拉平操作,将mydict.items这个可迭代对象的元组构造笛卡尔积并按照整体拉平。

上面的基本写法,应该99%以上的朋友都能看懂,但 林胖 的循环简化解法:

import itertools
result = []
for k, v in mydict.items():
    result.extend(itertools.product(k, v))
pd.DataFrame(result)

部分朋友可能没有看明白,这个就需要查询一下product方法的官方文档(https://docs.python.org/zh-cn/3.7/library/itertools.html?highlight=product#itertools.product):

product(*iterables, repeat=1) --> product object

参数:

  • iterables 为可迭代对象
  • 可选参数repeat 表示重复次数

用于生成可迭代对象输入的笛卡儿积,相当于生成器表达式中的嵌套循环。

例如: product(A, B) 中的元素A和B将共同构成可迭代元素[A, B]作为iterables传入和 ((x,y) for x in A for y in B) 返回结果一样。

返回示例:

  • product(‘ab’, range(3)) --> (‘a’,0) (‘a’,1) (‘a’,2) (‘b’,0) (‘b’,1) (‘b’,2)
  • product((0,1), (0,1), (0,1)) --> (0,0,0) (0,0,1) (0,1,0) (0,1,1) (1,0,0) …

也可以传入可选参数 repeat 表示重复的次数:例如,product(A, repeat=4)product(A, A, A, A) 的返回结果是一样的。


列表的extend方法是将可迭代对象的每个元素都添加到列表中,而append方法只能添加单个元素。

当然,我们还可以将整个for循环改写成列表生成式:

result = [(k, v) for k, vs in mydict.items() for v in vs]
pd.DataFrame(result)

也可以简化代码量。

变形法解题

df = pd.DataFrame(mydict.items(), columns=["a", "b"])
df

实现思路,上面的界面是下面最左边:

image-20210118001008103

列表分列的2种方法

列表分列的思路:Pandas的Series对象调用apply方法单个元素返回的结果是Series时,这个Series的每个数据会作为Datafrem的每一列,索引会作为列名。

对Series进行列表分列

例如:

df["b"].apply(pd.Series)

结果:

image-20210118001116439

不过这样会丢失原本的"a"列,我们可以先将"a"列设置为索引,再进行Series分列操作:

df.set_index("a")["b"].apply(pd.Series)

或者把结果设置成原本的"a"列为索引:

df["b"].apply(pd.Series).set_index(df["a"])

结果均为上述实现思路的第二步。

直接对Datafream进行列表分列

如果我们希望直接使用Datafream实现分列可以借助agg方法,因为agg方法是对每一列的Series对象操作:

df.agg({"a": lambda x: x, "b": pd.Series})

结果:

image-20210118001344742

但这操作导致列多了一个级别,需要删除:

df.agg({"a": lambda x: x, "b": pd.Series}).droplevel(0, axis=1)

结果:

image-20210118001450495

只要再执行set_index("a")

df.agg({"a": lambda x: x, "b": pd.Series}).droplevel(0, axis=1).set_index("a")

结果就会与实现思路的第二步结果一致。

将字典的键作为索引的2种读取方法

当然上面我只是为了给大家讲述分列的一些方法。对于这个例子,其实我们可以直接通过pd.DataFrame.from_dict方法orient参数传入’index’,直接获得第二步的结果(只是索引没有名称):

df = pd.DataFrame.from_dict(mydict, 'index')

或者分别传入data和索引index:

df = pd.DataFrame(data=mydict.values(), index=mydict.keys())

都能得到以下结果:

image-20210118002617199

melt实现逆透视

说起逆透视我个人首先想到了melt方法,然后才想到melt方法实现的本质用到了stack方法。

为了避免索引丢失,我们首先还原索引为普通的列:

df = df.rename_axis(index="a").reset_index()
df

结果:

image-20210118003731159

然后使用melt方法进行逆透视:

df.melt(id_vars='a', value_name='b')

结果:

image-20210118005108598

然后删除第二列,再删除空值行,再将数值列转换为整数类型就搞定。

最终代码:

df = pd.DataFrame.from_dict(mydict, 'index')
df = df.melt(id_vars='a', value_name='b').drop(columns="variable").dropna()
df.b = df.b.astype("int")
df

成功得到结果:

image-20210118005544447

stack实现逆透视

df = pd.DataFrame.from_dict(mydict, 'index')
df.stack()

结果:

A  0    1.0
B  0    2.0
   1    3.0
C  0    4.0
   1    5.0
   2    6.0
dtype: float64

结果返回了一个多级索引的Series,我们首先需要删除索引中多余的部分:

df.stack().droplevel(1)

结果:

A    1.0
B    2.0
B    3.0
C    4.0
C    5.0
C    6.0
dtype: float64

此时我们再还原索引到普通列:

df.stack().droplevel(1).reset_index()

再重新设置一下列名:

df.stack().droplevel(1).reset_index().set_axis(["a", "b"], axis=1)

最后重设一下B列的类型:

df.b = df.b.astype("int")

最终代码:

df = pd.DataFrame.from_dict(mydict, 'index')
df = df.stack().droplevel(1).reset_index().set_axis(["a", "b"], axis=1)
df.b = df.b.astype("int")
df

结果:

image-20210118011340419


本文转载:CSDN博客