在Databricks Workspace中高效删除文件的Python实战教程

本文阐述了在databricks workspace中删除文件的正确python方法。不同于dbfs，workspace文件需使用标准python文件i/o，如`pathlib`或`os`模块。教程将详细演示如何通过模式匹配批量删除指定文件，并强调了`dbutils.fs`不适用于workspace的常见误区。

在Databricks环境中，文件存储主要分为两种：Databricks File System (DBFS) 和 Workspace Files。理解这两者之间的区别对于正确操作文件至关重要。dbutils.fs工具集专门用于与DBFS进行交互，例如在DBFS路径下创建、读取、写入或删除文件和目录。然而，当涉及到Databricks Workspace中的文件时（通常位于/Workspace/Users/路径下），dbutils.fs将不再适用。尝试使用dbutils.fs.rm()删除Workspace文件会失败，并返回False，因为它并非设计用于此目的。

对于Workspace中的文件操作，我们应该使用标准的Python文件I/O库，例如pathlib模块（推荐用于现代python编程）或os和glob模块。这些模块提供了与本地文件系统交互的功能，而Databricks Workspace在执行Notebook时，其文件路径对于python脚本而言，行为类似于本地文件系统路径。

使用 pathlib 模块删除Workspace文件

pathlib模块提供了一种面向对象的文件系统路径操作方式，代码更简洁、可读性更强。以下示例展示了如何使用pathlib来批量删除Workspace中特定用户目录下所有.json文件：

from pathlib import Path  # 定义目标路径。请将 'your_username' 替换为你的实际用户名或目标目录。 # 例如: '/Workspace/Users/john.doe@example.com/' target_directory = Path('/Workspace/Users/your_username/')  # 使用 glob 方法查找所有匹配 '.JSon' 模式的文件 # glob() 返回一个迭代器，包含所有匹配的文件路径 for file_path in target_directory.glob('*.json'):     try:         # 使用 unlink() 方法删除文件         file_path.unlink()         print(f"成功删除文件: {file_path}")     except OSError as e:         print(f"删除文件失败 {file_path}: {e}")  print("Workspace中指定JSON文件删除操作完成。")

代码解析：

立即学习“Python免费学习笔记（深入）”；

小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

40

查看详情

• from pathlib import Path: 导入Path类。
• target_directory = Path(‘/Workspace/Users/your_username/’): 创建一个Path对象，代表要操作的目录。请务必将your_username替换为你的实际Databricks Workspace用户名或文件所在的具体路径。
• target_directory.glob(‘*.json‘): 这个方法会遍历target_directory下的所有文件和子目录，并返回所有名称匹配*.json模式的文件路径。
• file_path.unlink(): 这是Path对象的一个方法，用于删除该路径指向的文件。如果路径指向的是目录，则会引发错误。

使用 os 和 glob 模块删除Workspace文件

对于较旧的Python版本或习惯使用传统方法的开发者，os和glob模块也是一个可行的选择。

import os import glob  # 定义目标路径。请将 'your_username' 替换为你的实际用户名或目标目录。 # 例如: '/Workspace/Users/john.doe@example.com/*.json' target_path_pattern = '/Workspace/Users/your_username/*.json'  # 使用 glob.glob() 函数查找所有匹配模式的文件 # glob.glob() 返回一个字符串列表，包含所有匹配的文件路径 for file_path_str in glob.glob(target_path_pattern):     try:         # 使用 os.remove() 函数删除文件         os.remove(file_path_str)         print(f"成功删除文件: {file_path_str}")     except OSError as e:         print(f"删除文件失败 {file_path_str}: {e}")  print("Workspace中指定JSON文件删除操作完成。")

代码解析：

立即学习“Python免费学习笔记（深入）”；

• import os 和 import glob: 导入所需的模块。
• target_path_pattern = ‘/Workspace/Users/your_username/*.json’: 定义一个包含通配符的文件路径模式。
• glob.glob(target_path_pattern): 这个函数会返回一个列表，其中包含所有与给定模式匹配的文件或目录的路径（字符串形式）。
• os.remove(file_path_str): 这是os模块的一个函数，用于删除指定路径的文件。

注意事项

1. 路径准确性： 确保提供的Workspace路径是准确的。Databricks Workspace中的用户文件通常位于/Workspace/Users/<你的电子邮件地址>/或/Workspace/Users/<你的用户名>/。
2. 权限问题： 执行文件删除操作需要相应的权限。如果你尝试删除不属于你的文件或没有权限访问的目录，操作将会失败并抛出PermissionError。
3. 谨慎操作： 文件删除是不可逆的。在执行批量删除操作之前，强烈建议仔细检查目标路径和文件模式，并考虑进行备份。
4. 错误处理： 在生产环境中，务必在文件操作周围添加try-except块来捕获可能发生的FileNotFoundError、PermissionError或其他OSError，以增强脚本的健壮性。
5. DBFS与Workspace文件区分： 再次强调，dbutils.fs仅用于DBFS。对于Databricks Workspace中的文件，请使用标准的Python文件I/O。

通过遵循本教程中的方法和注意事项，你可以有效地在Databricks Workspace中管理和删除文件，确保数据操作的准确性和安全性。