Caching

from langchain.cache import SQLiteCache
set_llm_cache(SQLiteCache(database_path=".langchain.db"))

callbackを使っているときには、BaseCallbackHandler.on_llm_endで値を取得することができる。

streamlitでStreamingかつCacheを使っている場合 StreamlitCallbackHandler