一次性爬取论文过多时，导致调用API触发限制而失败。

[dangerwolf]

可能自己的仓库选择多了，导致第一次运行构建的时候，一次性爬取了400～700篇论文，导致触发API调用的rate limit，而导致重复失败。

期间不断更换其他免费薅羊毛的免费API，都因触发API的rate limit而失败。｜
而原代码构建失败之后不会保存已爬取论文的记录，每次Action build时都会重新花费30+分钟进行论文数据爬取；
并且在Action 运行中，调用AI Enhance那部分，一旦发生任何“错误”都会导致整个失败。比如我曾遇到过，爬取的几百篇论文中只有一篇论文因为某些原因，调用API失败后，导致其他几百篇即使都AI Enhance顺利，最终也没有完整生成页面的内容。

建议如下改进：

1. 增加API调用的延迟环境变量，用户可以根据自己的需求，进行必要的调用延迟等待，以防触发限制；
2. 增加Action过程中，爬取论文的临时保存，以防止调用LLM API出问题时，再运行需要重新爬取论文数据；
3. 如果，如果，如果，有可能的话，是否可以将Keywords作为爬取条件，以防止爬取的“多余”的论文。

---

作者的这个项目，非常好，真的很棒。作者加油！！！！

[dw-dengwei]

感谢支持！！！

1. 谢谢你发现了这个问题，我已经在这个PR中进行了回复 增加一个LLM API的调用延迟 #41
2. 这个功能可以有，已经加入了todo list，谢谢~
3. 这个仓库可能更多是提供给不同的人使用，而进行个性化的人相对较少（1000+ stars vs 300+ forks)，所以在这个仓库上我不打算在数据处理上实现一个个性化需求，而是在前端展示界面进行关心的关键词和作者的设置。如果想要在数据爬取的时候进行个性化过滤，还是建议在自己fork的仓库上进行过滤实现。在ai/enhance.py这个脚本中，在进行AI处理之前先进行判断，通过的再使用AI进行处理。 btw，虽然arxiv官方有检索API，能够根据关键词进行检索，但是经过我实测发现有时候无法通过API检索到最新提交的论文，于是我采用了爬虫的方式，从https://arxiv.org/list/[category]/new这个页面进行获取。