本文详细介绍了如何使用pandas创建按半年（上半年h1/下半年h2）间隔聚合的数据透视表，而非传统的按年或季度聚合。通过结合年份和自定义的半年标识符作为数据透视表的索引，并演示了如何将生成的多级索引转换为标准的日期时间格式，以满足更精细的数据分析和可视化需求。
在数据分析中，我们经常需要对时间序列数据进行聚合，以便从不同的时间粒度审视数据趋势。Pandas的pivot_table函数是实现这一目标的核心工具。然而，当内置的年（dt.year）或季度（dt.quarter）聚合无法满足特定的业务需求时，例如需要按半年（每六个月）进行数据汇总，我们就需要采用更灵活的方法来定义时间分组。
1. 构建示例数据
首先，我们创建一个包含日期索引和随机数据的DataFrame，以模拟真实世界中的时间序列数据。为了与后续的数据透视表示例保持一致，我们还会添加一个“Vessel”列。
import pandas as pd import numpy as np # 创建日期范围，从2023年1月1日到2024年1月5日 date_rng = pd.date_range(start='2023-01-01', end='2024-01-05', freq='D') # 生成随机数据 data = np.random.rand(len(date_rng), 3) df = pd.DataFrame(data, columns=['Column1', 'Column2', 'Column3'], index=date_rng) # 添加 'Vessel' 列，用于数据透视表的列 df['Vessel'] = np.random.randint(1, 5, size=len(date_rng)) print("原始DataFrame的前5行:") print(df.head())
2. 实现半年间隔的数据透视表
实现按半年间隔聚合的关键在于为pivot_table的index参数提供一个包含年份和半年标识符的列表。我们可以通过以下步骤完成：
- 提取年份: 使用df.index.year获取每个日期的年份。
- 创建半年标识符: 利用np.where根据月份判断是上半年（H1，1-6月）还是下半年（H2，7-12月）。
- np.where(df.index.month <= 6, “H1”, “H2”)：如果月份小于等于6，则标记为”H1″，否则为”H2″。
- 组合索引: 将年份和半年标识符作为列表传递给pivot_table的index参数。
# 创建按半年聚合的数据透视表 pivot_df = pd.pivot_table( df, index=[df.index.year, np.where(df.index.month <= 6, "H1", "H2")], # 核心：自定义索引 columns="Vessel", values=["Column1", "Column2", "Column3"], aggfunc="nunique", # 聚合函数，这里计算唯一值的数量 ) print("n按半年聚合的数据透视表:") print(pivot_df)
输出示例:
Column1 Column2 Column3 Vessel 1 2 3 4 1 2 3 4 1 2 3 4 2023 H1 39.0 41.0 59.0 42.0 39.0 41.0 59.0 42.0 39.0 41.0 59.0 42.0 H2 43.0 53.0 34.0 54.0 43.0 53.0 34.0 54.0 43.0 53.0 34.0 54.0 2024 H1 NaN 1.0 3.0 1.0 NaN 1.0 3.0 1.0 NaN 1.0 3.0 1.0
从输出可以看出，数据透视表的索引现在是多级的，第一级是年份，第二级是半年标识符（H1/H2），清晰地展示了按半年聚合的结果。
3. 将多级索引转换为日期格式
虽然多级索引在结构上清晰，但在某些情况下，例如进行时间序列绘图或与其他日期数据合并时，将其转换为单一的日期时间索引会更加方便。我们可以将“H1”映射到该年1月1日，将“H2”映射到该年7月1日。
# 将多级索引转换为日期时间格式 pivot_df.index = [ pd.to_datetime(f'{year}-{"01-01" if half == "H1" else "07-01"}') # 注意这里是07-01，不是06-01 for year, half in pivot_df.index ] print("n索引转换为日期格式后的数据透视表:") print(pivot_df)
输出示例:
Column1 Column2 Column3 Vessel 1 2 3 4 1 2 3 4 1 2 3 4 2023-01-01 48.0 44.0 43.0 46.0 48.0 44.0 43.0 46.0 48.0 44.0 43.0 46.0 2023-07-01 49.0 41.0 48.0 46.0 49.0 41.0 48.0 46.0 49.0 41.0 48.0 46.0 2024-01-01 1.0 1.0 NaN 3.0 1.0 1.0 NaN 3.0 1.0 1.0 NaN 3.0
现在，数据透视表的索引已经转换为标准的日期时间对象，代表了每个半年期的起始日期，这为后续的时间序列分析和可视化提供了便利。
4. 注意事项与扩展
- 灵活性: 使用np.where或自定义函数来创建分组标识符，是实现任意自定义时间间隔聚合的关键。例如，你可以创建季度、财年季度、甚至自定义的4个月周期等。
- 聚合函数: aggfunc参数可以接受多种聚合函数，如sum、mean、count、median等，甚至可以传入自定义函数列表或字典来对不同的values列应用不同的聚合方式。
- 性能: 对于非常大的数据集，创建自定义索引可能会带来一定的性能开销。在处理海量数据时，可以考虑Pandas的Grouper对象，它提供了更优化的时间分组能力。
- 多级索引操作: 生成的多级索引DataFrame在数据选择和切片方面具有强大的功能。熟练掌握df.loc[(year, half), :]等操作可以更灵活地访问数据。
总结
Pandas为数据分析师提供了强大的工具集，不仅能够进行标准的时间序列聚合，还能通过灵活的索引定义实现高度定制化的时间分组。本文通过一个按半年间隔创建数据透视表的实例，展示了如何结合df.index属性和numpy.where来构建自定义的时间分组索引，并进一步将其转换为便于分析和可视化的日期时间格式。掌握这些技巧将极大地提升你在处理复杂时间序列数据时的效率和灵活性。