python增加一列数据_python-如何在数据框的一列中添加字符串并...

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-2 16:34   1731   0

您可以使用pyspark.sql.Window来实现此目的,该命令按clientDateTime,pyspark.sql.functions.concat_ws和pyspark.sql.functions.collect_list的顺序排序:

import pyspark.sql.functions as f

from pyspark.sql import Window

w = Window.orderBy("DateTime") # define Window for ordering

df.drop("Seq", "sessionCount", "row_number").select(

"*",

f.concat_ws(

"",

f.collect_list(f.col("name")).over(w)

).alias("effective_name")

).show(truncate=False)

#+---------------+--------------+-------------------------+

#|name | DateTime|effective_name |

#+---------------+--------------+-------------------------+

#|abc |1521572913344 |abc |

#|xyz |1521572916109 |abcxyz |

#|rafa |1521572916118 |abcxyzrafa |

#|{} |1521572916129 |abcxyzrafa{} |

#|experience |1521572917816 |abcxyzrafa{}experience |

#+---------------+--------------+-------------------------+

我删除了“ Seq”,“ sessionCount”,“ row_number”,以使输出显示更加友好.

如果需要按组进行此操作,则可以向Window添加partitionBy.说在这种情况下,您要按sessionSeq分组,可以执行以下操作:

w = Window.partitionBy("Seq").orderBy("DateTime")

df.drop("sessionCount", "row_number").select(

"*",

f.concat_ws(

"",

f.collect_list(f.col("name")).over(w)

).alias("effective_name")

).show(truncate=False)

#+---------------+--------------+----------+-------------------------+

#|name | DateTime|sessionSeq|effective_name |

#+---------------+--------------+----------+-------------------------+

#|abc |1521572913344 |17 |abc |

#|xyz |1521572916109 |17 |abcxyz |

#|rafa |1521572916118 |17 |abcxyzrafa |

#|{} |1521572916129 |17 |abcxyzrafa{} |

#|experience |1521572917816 |17 |abcxyzrafa{}experience |

#+---------------+--------------+----------+-------------------------+

如果您更喜欢使用withColumn,则以上内容等效于:

df.drop("sessionCount", "row_number").withColumn(

"effective_name",

f.concat_ws(

"",

f.collect_list(f.col("name")).over(w)

)

).show(truncate=False)

说明

您要在多个行上应用一个函数,这称为聚合.对于任何聚合,您都需要定义要聚合的行以及顺序.我们使用窗口来执行此操作.在这种情况下,w = Window.partitionBy(“ Seq”).orderBy(“ DateTime”)将按Seq对数据进行分区,并按DateTime进行排序.

我们首先在窗口上应用聚合函数collect_list(“ name”).这将从“名称”列中收集所有值,并将它们放在列表中.插入顺序由窗口的顺序定义.

例如,此步骤的中间输出将是:

df.select(

f.collect_list("name").over(w).alias("collected")

).show()

#+--------------------------------+

#|collected |

#+--------------------------------+

#|[abc] |

#|[abc, xyz] |

#|[abc, xyz, rafa] |

#|[abc, xyz, rafa, {}] |

#|[abc, xyz, rafa, {}, experience]|

#+--------------------------------+

现在,适当的值已在列表中,我们可以将它们与空字符串连接起来作为分隔符.

df.select(

f.concat_ws(

"",

f.collect_list("name").over(w)

).alias("concatenated")

).show()

#+-----------------------+

#|concatenated |

#+-----------------------+

#|abc |

#|abcxyz |

#|abcxyzrafa |

#|abcxyzrafa{} |

#|abcxyzrafa{}experience |

#+-----------------------+

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP