python - 使用线程加速上下文管理器的缓慢初始化

我正在使用我无法轻易更改的 python2.7 模块。这个模块有一个类的工厂,它是一个上下文管理器。这对于管理对象的生命周期非常有效,但初始化此类涉及等待创建基于云的资源,并且可能需要几分钟才能运行。在我的程序范围内,我需要创建两个对象,如下所示:

import immutable_module

cloud_resource_name1 = "load_ai_model"
cloud_resource_name2 = "create_input_output_model"

with immutable_module.create_remote_cloud_resource(cloud_resource_name1) as a, \
     immutable_module.create_remote_cloud_resource(cloud_resource_name2) as b: 
    result = __do_imporant_thing(a, b)

print(result)

有没有办法使用线程同时调用这两个 contextmanagers 来加快加载时间?

回答1

经过更多研究,我找到了一个解决方案,但这可能不是最好的答案。该解决方案依赖于为 contextmanager 手动调用 __enter____exit__

import immutable_module

cloud_resource_name1 = "load_ai_model"
cloud_resource_name2 = "create_input_output_model"

a_context = immutable_module.create_remote_cloud_resource(cloud_resource_name1) 
b_context = immutable_module.create_remote_cloud_resource(cloud_resource_name2)

a = None
b = None

try:
    def __set_a():
      global a
      a = a_context.__enter__()

    def __set_b():
      global b
      b = b_context.__enter__()

    a_thread = Thread(target=__set_a)
    b_thread = Thread(target=__set_b)

    a_thread.start()
    b_thread.start()

    a_thread.join()
    b_thread.join()

    result = __do_imporant_thing(a, b)

finally:
    try:
        if a is not None:
            a_context.__exit__(*sys.exc_info())
    finally:
        if b is not None:
            b_context.__exit__(*sys.exc_info())

print(result)

这真的很脏,根本不是通用的,并且存在异常处理的潜在问题,但它确实有效。

相似文章

最新文章