Skip to content

爬虫工具报错 #701

@ChiruMori

Description

@ChiruMori

搜索结果返回特殊页面后,LLM 调用 crawl 工具进行抓取时,会出现报错。

  • 复现办法:使用 pdf 链接直接调用 crawl 工具,如一次测试中得到的链接 中原证券-游戏行业专题
  • 报错代码行:src.tools.crawl#L25
  • 报错日志:Failed to crawl. Error: IndexError('list index out of range')
  • 问题现象:LLM请求对搜索到的PDF链接进行抓取就会报错,不清楚其他内容是否有类似问题。报错后,会直接把报错内容传递回 LLM 上下文
Image
  • 期望行为:与网络错误不同,此类问题需要让LLM清楚无法重试,或直接返回空(或其他降级信息);如果能支持抓取是最好的

Metadata

Metadata

Assignees

Labels

enhancementNew feature or request

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions