Takaisin Crawler -kohtaan
Yhdistä Knoon AI kohteen Crawler (Web Intelligence) kanssa automatisoidaksesi AI-työnkulut.
Fetch a web page and return extracted content with high chances of succeeding and not being blocked.
webIntelligenceCrawlerScrapeUrl
BETA
Oikeudet
Näytettävää kohdetta ei ole.
Valinnaiset oikeudet
Näytettävää kohdetta ei ole.
Parametrit
| Nimi | Tyyppi | Kuvaus | Pakollinen |
|---|---|---|---|
| url | mustache | Public URL to scrape (e.g. "https://example.com/article"). | Kyllä |
| formats | array (mustache) | Optional list of formats to return (e.g. ["markdown","html"]). Defaults to ["markdown"]. | Ei |
| onlyMainContent | boolean | If true, attempts to return only the primary page content. | Ei |
| waitFor | mustache | Optional wait time in milliseconds before scraping (e.g. "2000"). | Ei |
| timeout | mustache | Optional timeout in milliseconds for the scrape request. | Ei |
Palautukset
| Nimi | Tyyppi | Kuvaus |
|---|---|---|
| status | string | OK or ERROR. |
| url | string | The scraped URL. |
| content.markdown | string | Markdown content when available. |
| content.html | string | HTML content when available. |
| content.text | string | Plain text content when available. |
| metadata | object | Metadata when available. |
| links | array | Extracted links when available (shape may vary by source; commonly URL strings). |