使用Python将复杂列表字典数据转换为CSV表格

本文旨在提供一种将包含字典的复杂列表结构数据转换为CSV表格的有效方法。 针对数据结构特点，通过数据重塑，将原始数据转换为更易于处理的格式，然后使用csv.DictWriter或pandas.DataFrame.to_csv方法将其写入CSV文件。同时，本文提供了详细的代码示例和解释，帮助读者理解和应用该方法。

在Python中，处理复杂的数据结构并将其转换为CSV格式是常见的数据处理任务。当数据以嵌套的列表和字典形式存在，并且结构不规则（例如，列长度不一致）时，直接使用传统的CSV写入方法可能会遇到困难。本文将介绍一种有效的解决方案，通过数据重塑，将原始数据转换为更易于处理的格式，然后再将其写入CSV文件。

数据结构描述

假设我们有如下格式的数据：

table = [     [{0:"title1"}, {1:"title2"}],     [{0:"data1"}, {1:"data2"}],     [{1:"more data2"}] ]

其中：

立即学习“Python免费学习笔记（深入）”；

• 外层列表代表整个表格。
• 每个内层列表代表表格中的一列。
• 每个字典代表列中的一个单元格，字典的键表示行号，值表示单元格的内容。
• 并非所有列都包含相同数量的行，因此行号至关重要。

数据重塑

为了方便后续的CSV写入，我们需要将数据重塑为列表字典的形式，其中每个字典代表表格中的一行。可以使用列表推导式来实现这个转换：

table = [     {key: value for col in row for key, value in col.items()}     for row in table ]

这段代码的执行流程如下：

1. 外层循环 for row in table: 遍历原始表格的每一列（内层列表）。
2. 内层循环 for col in row: 遍历每一列中的每个字典（单元格）。
3. col.items(): 获取字典中的键值对。
4. key: value for key, value in col.items(): 创建一个新的字典，将所有列的单元格合并到同一行中。

经过数据重塑后，table变量将变为：

[     {         "0": "title1",         "1": "title2"     },     {         "0": "data1",         "1": "data2"     },     {         "1": "more data2"     } ]

现在，数据已经转换为更易于处理的格式，其中每个字典代表表格的一行。

使用csv.DictWriter写入CSV文件

csv.DictWriter是Python标准库csv模块提供的一个类，可以方便地将字典数据写入CSV文件。

import csv  with open("out.csv", "w", newline="") as file_out:     writer = csv.DictWriter(file_out, fieldnames=[0,1], extrasaction="ignore")     writer.writeheader()     writer.writerows(table)

代码解释：

1. open(“out.csv”, “w”, newline=””): 以写入模式打开名为”out.csv”的文件。newline=””参数用于避免在Windows系统中出现额外的空行。
2. csv.DictWriter(file_out, fieldnames=[0,1], extrasaction=”ignore”): 创建一个csv.DictWriter对象。
   • file_out：指定要写入的文件对象。
   • fieldnames=[0,1]：指定CSV文件的列名（表头）。这里假设我们只需要包含键为0和1的列。如果需要更多列，请相应地修改fieldnames。
   • extrasaction=”ignore”：指定当字典中包含不在fieldnames中的键时，忽略这些键。
3. writer.writeheader(): 写入CSV文件的表头。
4. writer.writerows(table): 将数据写入CSV文件。

使用pandas.DataFrame.to_csv写入CSV文件

pandas库提供了更高级的数据处理功能，也可以用于将数据写入CSV文件。

import pandas  pandas.DataFrame(table).to_csv("out.csv", index=False)

代码解释：

1. pandas.DataFrame(table): 将重塑后的table数据转换为pandas.DataFrame对象。
2. .to_csv(“out.csv”, index=False): 将DataFrame对象写入名为”out.csv”的文件。
   • index=False：指定不将DataFrame的索引写入CSV文件。

输出结果

无论使用csv.DictWriter还是pandas.DataFrame.to_csv，最终都会生成如下内容的CSV文件：

0,1 title1,title2 data1,data2 ,more data2

注意事项

• 在选择列名（fieldnames）时，请确保它们与字典中的键相对应。
• extrasaction参数可以设置为’raise’，以便在字典中包含不在fieldnames中的键时引发异常。
• 如果数据量很大，pandas通常比csv.DictWriter更快。
• 根据实际需求调整代码，例如处理缺失值、自定义分隔符等。

总结

本文介绍了一种将包含字典的复杂列表结构数据转换为CSV表格的方法。通过数据重塑，将原始数据转换为更易于处理的列表字典形式，然后使用csv.DictWriter或pandas.DataFrame.to_csv将其写入CSV文件。这种方法可以有效地处理不规则的数据结构，并生成符合要求的CSV文件。在实际应用中，可以根据具体情况选择合适的方法，并进行适当的调整。