Python多線程（MultiProcess）中sql查詢返回結果缺失

場景：

python 多線程中，傳入多個sql進行查詢，返回的結果和傳入的sql數量不一致。

 

原因：

單個 SQL 查詢比較耗時，導致 SQLAlchemy 的連接池被佔滿，後續連接等待時間過長超過了默認的 pool_timeout 值而被丟棄

所以每次獲取到的數據結果返回和傳入的sql結果不一致。

 

處理辦法：

把 pool_size 和 max_overflow 的值調大（pool_size = 20, max_overflow = 30）

engines['config'] = create_engine(
    CONF.SQLALCHEMY_BINDS['config'],
    pool_size=CONF.SQLALCHEMY_POOL_SIZE,  # 5
    pool_recycle=CONF.SQLALCHEMY_POOL_RECYCLE,  # 3600
    )
engines['data'] = create_engine(
    CONF.SQLALCHEMY_BIND_URI,
    pool_size=CONF.SQLALCHEMY_CLICKHOUSE_POOL_SIZE,  # 20
    max_overflow=CONF.SQLALCHEMY_CLICKHOUSE_MAX_OVERFLOW,  # 30
)