用 Python 如何优雅的将 user 附加到 dept 上去？

dept 结构：

[
    {
        "id": "2",
        "name": "aaa",
        "children": [
            {
                "id": "3",
                "name": "bbb",
                "children": [
                    {
                        "id": "4",
                        "name": "ccc",
                        "children": [
                        ]
                    },
                    {
                        "id": "5",
                        "name": "ddd",
                        "children": [
                        ]
                    }
                ]
            },
            {
                "id": "6",
                "name": "eee",
                "children": [
                ]
            }
        ]
    },
    {
        "id": "7",
        "name": "fff",
        "children": [
        ]
    }
]

user 数据结构：

[
    {
        "id": 2,
        "name": "aaa",
        "department": 6
    },
    {
        "id": 1,
        "name": "admin",
        "department": 7
    }
]

合并后的结构：

[
    {
        "id": "2",
        "name": "aaa",
        "children": [
            {
                "id": "3",
                "name": "bbb",
                "children": [
                    {
                        "id": "4",
                        "name": "ccc",
                        "children": [
                        ]
                    },
                    {
                        "id": "5",
                        "name": "ddd",
                        "children": [
                        ]
                    }
                ]
            },
            {
                "id": "6",
                "name": "eee",
                "children": [
                ],
                "users": [
                    {
                        "id": 2,
                        "name": "aaa"
                    },
                ]
            }
        ]
    },
    {
        "id": "7",
        "name": "fff",
        "children": [
        ],
        "users": [
            {
                "id": 1,
                "name": "admin"
            },
        ]
    }
]

我目前的做法是遍历一遍 dept 列表，找到了一个 dept 就遍历以便 user 列表，如果用户多的话，这样就很慢了…… 有什么更好的办法吗？