Quay lại Crawler
Kết nối Knoon AI với Crawler (Web Intelligence) để tự động hóa các quy trình làm việc AI.
Fetch a web page and return extracted content with high chances of succeeding and not being blocked.
webIntelligenceCrawlerScrapeUrl
BẢN THỬ NGHIỆM
Quyền hạn
Không có mục nào để hiển thị.
Quyền hạn tùy chọn
Không có mục nào để hiển thị.
Tham số
| Tên | Loại | Mô tả | Bắt buộc |
|---|---|---|---|
| url | mustache | Public URL to scrape (e.g. "https://example.com/article"). | Có |
| formats | array (mustache) | Optional list of formats to return (e.g. ["markdown","html"]). Defaults to ["markdown"]. | Không |
| onlyMainContent | boolean | If true, attempts to return only the primary page content. | Không |
| waitFor | mustache | Optional wait time in milliseconds before scraping (e.g. "2000"). | Không |
| timeout | mustache | Optional timeout in milliseconds for the scrape request. | Không |
Trả về
| Tên | Loại | Mô tả |
|---|---|---|
| status | string | OK or ERROR. |
| url | string | The scraped URL. |
| content.markdown | string | Markdown content when available. |
| content.html | string | HTML content when available. |
| content.text | string | Plain text content when available. |
| metadata | object | Metadata when available. |
| links | array | Extracted links when available (shape may vary by source; commonly URL strings). |