Crawl4aiTools 使 Agent 能够使用 Crawl4ai 库执行网络爬虫和抓取任务。
以下示例需要 crawl4ai
库。
下面的 Agent 将抓取 https://github.com/agno-agi/agno 页面的内容:
参数 | 类型 | 默认值 | 描述 |
---|---|---|---|
max_length | int | 1000 | 指定要返回的网页文本的最大长度。 |
函数 | 描述 |
---|---|
web_crawler | 使用 crawl4ai 的 WebCrawler 抓取网站。参数包括用于抓取的 URL 的 ‘url’ 和用于限制提取内容长度的可选 ‘max_length’。‘max_length’ 的默认值为 1000。 |