MongoDB查询深度嵌套数组：判断多层子数组是否包含元素

本教程深入探讨如何在MongoDB中高效查询包含多层嵌套数组的文档。我们将通过一个具体的聚合管道示例，演示如何判断文档中任何深度嵌套的子数组（如smartFlowIdList）是否包含至少一个元素，从而解决复杂的数据结构查询挑战。

在处理复杂的文档模型时，mongodb经常会遇到包含多层嵌套数组的场景。例如，一个文档可能包含一个sections数组，每个section对象又包含一个sectionobj数组，而每个sectionobj中又有一个smartflowidlist数组。当我们需要查询那些在任意层级的smartflowidlist中包含至少一个元素的文档时，常规的$elemmatch或点运算符可能难以直接满足需求，尤其是在不确定具体索引的情况下。

理解问题场景

假设我们有如下结构的MongoDB文档：

{     "sections": [         {             "desc": "no flow ID",             "sectionObj": [                 {                     "smartFlowIdList": []                 }             ]         },         {             "desc": "has flow ID",             "sectionObj": [                 {                     "smartFlowIdList": [                         "smartFlowId1",                         "smartFlowId2"                     ]                 }             ]         }     ] }

我们的目标是查询所有文档，判断其中是否存在任意一个sections元素下的sectionObj元素中的smartFlowIdList数组包含至少一个元素（即非空）。对于上述示例文档，由于第二个section中的smartFlowIdList包含了两个元素，因此该文档应该被匹配。

解决方案：利用聚合管道进行深度查询

mongodb的聚合管道（Aggregation Pipeline）是处理复杂查询和数据转换的强大工具。对于这种多层嵌套数组的查询，我们可以利用$map、$reduce、$size和$sum等操作符，结合$expr和$match阶段来高效地实现。

核心思路是：

企奶奶

一款专注于企业信息查询的智能大模型，企奶奶查企业，像聊天一样简单。

24

查看详情

1. 遍历最外层的sections数组。
2. 对于每个section，再遍历其内部的sectionObj数组。
3. 对于每个sectionObj，获取其smartFlowIdList数组的长度。
4. 将所有smartFlowIdList的长度累加起来，得到一个总数。
5. 最后，判断这个总数是否大于0。如果大于0，则说明至少有一个smartFlowIdList是非空的。

下面是实现此逻辑的聚合管道代码：

db.collection.aggregate([   {     $match: {       $expr: {         $gt: [           {             $sum: {               $map: {                 input: "$sections",                 as: "external",                 in: {                   $sum: [                     {                       $reduce: {                         input: "$$external.sectionObj",                         initialValue: 0,                         in: { $sum: ["$$value", { $size: "$$this.smartFlowIdList" }] }                       }                     }                   ]                 }               }             }           },           0         ]       }     }   } ])

代码解析

1. $match 阶段: 这是聚合管道的第一个阶段，用于过滤文档。在这里，我们使用$expr来执行复杂的条件判断。
2. $expr 操作符: 允许在$match阶段中使用聚合表达式。这使得我们可以在查询条件中执行数据转换和计算。
3. $gt 操作符: 比较操作符，用于判断其第一个参数是否大于第二个参数。在这里，我们判断计算出的总和是否大于0。
4. $sum (外部): 用于对$map操作的结果进行求和。$map为sections数组的每个元素生成一个值，这些值（每个section内部所有smartFlowIdList的总长度）需要被再次求和。
5. $map 操作符:
   • input: “$sections”: 指定要迭代的数组字段，即文档中的sections数组。
   • as: “external”: 为sections数组中的每个元素设置一个别名，以便在in表达式中引用。
   • in: { … }: 定义对每个sections元素执行的操作。这里，它包含另一个$sum和$reduce操作。
6. $sum (内部): 这是一个冗余的$sum，在当前场景下，$reduce的结果直接作为$map的in表达式值即可，无需再套一层$sum。但在某些复杂场景下，如果in表达式需要计算多个值的和，它就会派上用场。
7. $reduce 操作符:
   • input: “$$external.sectionObj”: 指定要迭代的数组字段，即当前section元素下的sectionObj数组。$$external引用了$map中定义的别名。
   • initialValue: 0: 设置累加器的初始值为0。
   • in: { $sum: [“$$value”, { $size: “$$this.smartFlowIdList” }] }: 这是$reduce的核心逻辑。
     • $$value: 引用累加器的当前值。
     • $$this: 引用sectionObj数组中的当前元素。
     • $size: “$$this.smartFlowIdList”: 获取当前sectionObj元素下smartFlowIdList数组的长度。
     • $sum: [“$$value”, …]：将当前smartFlowIdList的长度加到累加器$$value上。

通过这样的管道，我们逐层深入，计算出文档中所有smartFlowIdList数组的元素总和。如果这个总和大于0，则表示至少有一个smartFlowIdList是非空的，该文档就会被$match阶段选中。

进一步思考与注意事项

• 性能考量: 对于包含大量文档或非常大的嵌套数组的集合，这种深度遍历和计算可能会消耗较多的计算资源。如果查询频率很高，应考虑是否能通过调整数据模型来简化查询，例如在父文档中维护一个表示子数组是否非空的布尔字段，并在子数组更新时同步更新该字段。
• 索引: 聚合管道中的$expr操作通常无法有效利用常规索引，因为它需要在运行时计算表达式。
• 检查特定值: 如果需求是检查smartFlowIdList中是否包含一个特定的flowId（例如”smartFlowId1″），则需要对$reduce的in表达式进行修改，或者引入$unwind和$Filter等操作符。例如，可以在$reduce内部使用$filter来过滤出包含特定值的列表，然后检查其$size。
• $unwind 的替代: 在某些情况下，可以使用$unwind来“展平”数组，但对于多层嵌套数组，$unwind会导致文档数量急剧增加，从而影响性能。$map和$reduce在不展平文档的情况下进行计算，通常更适用于此类计数或聚合场景。

总结

MongoDB的聚合管道为处理复杂的嵌套数组查询提供了强大的灵活性。通过巧妙地组合$map、$reduce、$size和$expr等操作符，我们能够有效地判断深度嵌套数组中是否存在非空列表，从而满足多样化的业务需求。在设计此类查询时，务必权衡其性能开销，并在必要时考虑数据模型的优化。