内容提取 · Extract API

基础信息

接口说明： 通过 API 创建 Extract API 的采集任务，获取指定 URL 的网页正文及页面信息。

请求地址： https://aiwebapi.dataify.com/extract

请求方式： POST

请求格式： application/json 或 application/x-www-form-urlencoded

请求参数

Headers：

参数名称	参数类型	是否必须	描述
Authorization	string	是	固定格式：Authorization: Bearer <YOUR_API_TOKEN>。YOUR_API_TOKEN 可在仪表板 → 设置 → Token 管理获取。不支持自定义 Token 请求头。

Body：

参数名称	参数类型	是否必须	描述
unique_id	string	是	用于指定使用的工具，固定参数：extract
url	string	是	需要采集的目标 URL 地址。
formats	array of string	否	用于设置网页正文的输出格式。可选值：markdown、raw_html、clean_html、links。默认值为 markdown；缺省或传入空数组时不抓取正文。
advanced_mode	boolean	否	用于设置网页采集策略。可选值：false、true，默认值为 true。false 表示采用无渲染 HTTP 方式采集，成功率相对较低；true 表示启用自动解锁策略，依次尝试无渲染采集、浏览器渲染采集、浏览器渲染结合网页解锁器采集，仅在上一级采集失败时进入下一级。不同采集方式的费用不同，具体请参阅费用介绍。
country	string	否	用于设置采集请求的国家或地区，使用两位大写 ISO 国家代码。不传表示不限国家或地区。
include_tags	array of string	否	用于指定需要采集的 HTML 标签或 CSS Selector，仅采集匹配的内容。最多 50 条，每条最长 2048 个 UTF-8 字节。例如：["data-testid=qsp-price1","data-testid=qsp-price2"]。
exclude_tags	array of string	否	用于指定需要排除的 HTML 标签或 CSS Selector，采集时去除匹配的内容。最多 50 条，每条最长 2048 个 UTF-8 字节。例如：["data-testid=qsp-price1","data-testid=qsp-price2"]。
only_main_content	boolean	否	用于设置是否仅保留清洗后的正文。true 表示只保留清洗后的主体内容；false 表示保留更多清洗后的页面内容。默认值为 true。
headers	object	否	用于设置向目标网站发送请求时使用的请求头信息。不得包含 Host 或逐跳（hop-by-hop）请求头。
timeout_ms	integer	否	用于设置单条网页正文采集的最长处理时长，涵盖获取、渲染和提取过程，单位为毫秒。范围为 1000～120000，默认值为 60000。
wait_for_ms	integer	否	用于设置采集网页正文时的页面加载等待时长，单位为毫秒。范围为 0～30000，默认值为 0。与 timeout_ms 同时传入时，该值不得超过 timeout_ms 的一半。
max_age_ms	integer	否	用于设置网页正文采集可接受的缓存时长上限，单位为毫秒，最大值为 172800000（2 天）。0 表示强制回源获取最新内容。

响应示例

{
    "markdown": "# Article",
    "raw_html": "<main>Article</main>",
    "clean_html": "<main>Article</main>",
    "links": [
      "https://example.com/about"
    ]
}

响应参数

参数名称	参数类型	描述
markdown	string	Markdown 格式的页面正文。仅当 formats 包含 markdown 时返回；生成失败或无可用内容时可能为 null。
raw_html	string	页面原始 HTML。仅当 formats 包含 raw_html 时返回；生成失败或无可用内容时可能为 null。
clean_html	string	清洗后的页面 HTML。仅当 formats 包含 clean_html 时返回；生成失败或无可用内容时可能为 null。
links	array of string	页面中提取到的绝对 HTTP(S) 链接。仅当 formats 包含 links 时返回；无链接时可为空数组。