数据集加载

我看作者是有个小数据集的，直接用data_preprocess.py读数据，形成一个dict，我们做真实数据预测的时候，请问是直接把整个数据集加载到内存中吗，我这样试过，由于内存不足被kill了，该怎样解决呢