1. 数据服务
Dataify
  • 介绍
    • 概览
    • 支持
  • 数据服务
    • 新手指南文档
    • MCP教程配置
    • 云交付使用教程
    • 网页采集 API
      • 简介
      • 快速入门
      • 发送您的第一个请求
      • API 请求配置
      • 请求参数说明
        • 亚马逊参数
        • Walmart 参数
        • eBay 参数
    • 视频采集 API
      • 简介
      • 快速入门
      • 发送您第一个请求
      • API 请求构建器
      • 请求参数说明
    • 搜索引擎 API
      • 简介
      • 快速入门
      • 发送您的第一次请求
      • 常见问题
      • 计费说明
      • 响应代码
      • 请求参数说明
        • Google
          • 谷歌搜索
          • 谷歌 AI mode
          • 谷歌新闻
          • 谷歌图片
          • 谷歌地图
          • 谷歌航班
          • 谷歌工作
          • 谷歌本地
          • 谷歌视频
          • 谷歌购物
          • 谷歌镜头
          • 谷歌趋势
          • 谷歌商店
          • 谷歌学术
          • 谷歌金融
          • 谷歌酒店
          • 谷歌专利
        • Bing
          • Bing 搜索
          • Bing 地图
          • Bing购物
          • Bing 视频
          • Bing图片
          • Bing 新闻
        • Yandex
          • Yandex
        • DuckDuckGo
          • DuckDuckGo搜索API
      • 返回字段说明
        • Google
          • 谷歌搜索API
          • 谷歌 AI Mode
          • 谷歌图片API
          • 谷歌购物API
          • 谷歌视频API
          • 谷歌新闻API
          • 谷歌地图API
          • 谷歌镜头API
          • 谷歌航班API
          • 谷歌学术API
          • 谷歌酒店API
          • 谷歌工作API
          • 谷歌趋势API
          • 谷歌本地API
          • 谷歌商店API
          • 谷歌金融API
        • Bing
          • Bing搜索API
          • Bing地图API
          • Bing购物API
          • Bing视频API
          • Bing搜索API
          • Bing图片API
          • Bing新闻API
        • Yandex
          • Yandex搜索API
    • 通用采集 API
      • 简介
      • 快速入门
      • 发送您的第一次请求
      • 参数说明
      • 计费说明
      • 响应代码
    • Web API
      • 简介
      • 快速入门
      • 计费说明
      • 发送您的第一次请求
        • 网页搜索 · Search API
        • 内容提取 · Extract API
        • 站点发现 · Map API
      • 参数说明
        • 网页搜索 · Search API
        • 站点发现 · Map API
        • 内容提取 · Extract API
        • 响应代码
    • 常见问题
      • 常见问题
  • 网络基础设施
    • 动态网络服务
      • 动态住宅网络
        • 简介
        • 快速入门
          • 账密认证
          • 白名单
          • 国家/地区列表
      • 高带宽网络
        • 简介
        • 快速入门
          • 账户认证
    • 静态网络服务
      • 静态ISP网络
        • 简介
        • 快速入门
      • 静态数据中心
        • 简介
        • 快速入门
  • 公共API
    • 介绍
    • 获取token
    • 账户
      • 查询流量余额
      • 查询积分余额
      • 查询流量使用记录
    • 地理位置
      • 获取国家列表
      • 获取州列表
      • 获取城市列表
      • 获取 ASN 列表
    • 网络服务用户
      • 更新网络服务用户信息
      • 删除网络服务用户
      • 按天查询流量使用记录
      • 按小时查询流量使用记录
    • 白名单
      • 读取白名单网络地址列表
      • 创建白名单网络地址
      • 删除白名单网络地址
    • ISP/数据中心网络
      • 获取网络节点列表
      • 查询网络节点过期时间
    • 动态高带宽
      • 获取动态高带宽服务器列表
      • 重启动态高带宽服务器
      • 动态高带宽服务器续费
      • 动态高带宽升级
      • 高带宽服务器子账户白名单列表
      • 添加子账户到高带宽服务器白名单
      • 将子账户从高带宽服务器白名单删除
    • 通用采集API
      • 获取任务接口API
      • 使用统计API
    • 网页采集API
      • 网页采集使用统计
      • 任务接口API
        • 创建任务说明
        • 任务运行状态说明
        • 任务列表获取说明
        • 任务下载获取说明
        • 获取最新任务说明
    • 搜索引擎API
      • 使用统计API
      • 任务接口
        • 谷歌搜索API
        • Bing搜索API
        • Yandex搜索API
        • DuckDuckGo搜索API
    • Web API
      • 网页搜索 · Search API
      • 内容提取 · Extract API
      • 站点发现 · Map API
  • 集成
    • AdsPower
    • BitBrowser
    • ClonBrowser
    • Hubstudio
    • Puppeteer
    • Playwright
    • Selenium
    • Chrome
  • 常见问题
    • 支付问题
    • 数据服务
    • 网络基础设施
  • SDK
    • Go SDK 使用说明
    • JavaScript SDK 使用说明
    • Python SDK 使用说明
    • TypeScript SDK 使用说明
  • CLI 命令行
    • 概述
    • 安装
    • 命令
    • 示例
    • 常见问题
  • MCP 服务端
    • 概述
    • 工具
    • 使用示例
    • 数据输出格式
    • 常见问题
    • 远程模式
      • 快速入门
      • 进阶
  • SKILLS
    • SKILLS 使用说明
  1. 数据服务

云交付使用教程

Dataify 云交付使用教程#

适用对象:使用 Dataify 网页数据采集和视频数据采集功能,并希望将采集结果自动保存到自己云存储的客户。

第一部分:功能介绍#

1. 云交付是什么#

云交付是 Dataify 提供的结果文件自动交付能力:您在 Dataify 上把自己的云存储(对象存储)配置为一个"交付渠道",之后网页/视频采集产生的结果文件,会被 Dataify 自动上传到您指定的云存储 Bucket 和目录中,无需手动逐个下载。
目前支持的云存储类型有三种:Amazon S3、Alibaba Cloud OSS、Cloud Object Storage(腾讯云)。

2. 采集为什么可以结合云交付使用#

采集任务完成后,结果文件默认保存在 Dataify 平台,需要在任务列表中手动下载。开启云交付后,结果文件会在任务完成后自动上传到您自己的云存储中,平台下载入口仍然保留。

3. 云交付能解决什么问题#

免手动下载:任务完成后文件自动落盘到您的云存储,无需人工逐个任务下载。
自动归档:通过"目标路径"规划目录结构,结果文件按批次自动归档。
便于系统对接:您自己的业务程序可以直接从自己的云存储读取结果文件。
批量补交付:对历史已采集成功的任务,可以补建交付(一次最多指定 10 个任务)。

第二部分:使用前准备#

只需准备两样东西:
1.
一个您自己的云存储空间(Bucket):按您使用的云厂商准备,并确认可以正常读写;
2.
该云存储的访问密钥(Access Key ID / Secret Key):在云厂商控制台创建,并确保密钥对目标 Bucket 有写入(上传)权限。
提示:Secret Key 仅在创建时完整显示一次,请提前保存好。具体需要填写哪些字段(Bucket 名称、区域、Endpoint、目标路径等),见第三部分逐项说明。

第三部分:配置云交付(创建交付渠道)#

云交付的第一步,是在 Dataify 中把您的云存储配置为一个"交付渠道"。

3.1 进入云交付设置页面#

有两种入口,任选其一:
入口一:从账号设置进入
1.
登录 Dataify 控制台 https://dashboard.dataify.com。
image.png
2.
点击左侧边栏底部的 设置。
3.
在设置页顶部标签中,点击 云交付 标签(设置页共有 5 个标签:账户管理、Token 管理、云交付、Webhook 管理、用量预警)。
image.png
入口二:从网页/视频采集模块进入
1.
点击左侧边栏 网页/视频数据采集。
2.
点击顶部的 任务与交付 标签。image.png
3.
在"云交付"子页面中,点击 云交付配置 子标签。
image.png
两个入口打开的是同一份交付渠道列表。点击 新增交付渠道 按钮即可创建渠道。
image.png

3.2 新建交付渠道并选择云存储类型#

1.
点击 新增交付渠道 按钮,弹出"新增交付渠道"窗口。
2.
在 交付渠道 下拉框中选择您的云存储类型:Amazon S3(默认选中)/ Alibaba Cloud OSS / Cloud Object Storage。
image.png
选择不同的云存储类型后,下方需要填写的字段会随之变化,具体见 3.3。

3.3 填写配置字段#

(1)交付渠道名称(选填)
系统建议您另起名称,方便后期管理;如果未命名,系统会自动生成名称(如 CloudDelivery0001)。
填写示例:我的S3-采集结果交付。
(2)Amazon S3 类型需要填写的字段
字段是否必填填写说明与示例
Bucket/存储桶名称必填目标 Amazon S3 存储桶的名称,如 my-bucket
地理区域必填存储数据的地理位置或区域,如 us-east-01
AWS 访问密钥必填AWS Access Key ID,作用类似用户名(输入框为密码型,右侧有"查看密码"按钮)
AWS 密钥必填AWS Secret Access Key,作用类似密码;创建后仅显示一次
Endpoint选填云存储访问地址,如 https://s3.amazonaws.com
目标路径必填上传到存储桶内的目录路径,可包含多层逻辑路径,如 path/test
(3)Alibaba Cloud OSS 类型需要填写的字段
字段是否必填填写说明与示例
Bucket/存储桶名称必填OSS 存储空间名称,文件必须上传到指定 Bucket
地理区域必填OSS 所在地域,用于构造访问 Endpoint,如 oss-cn-beijing
Access key必填阿里云账号 Access Key ID
Secret key必填阿里云账号 Access Key Secret
Endpoint必填如 https://oss-cn-hangzhou.aliyuncs.com
目标路径必填如 path/test
(4)Cloud Object Storage(腾讯云)类型需要填写的字段
字段是否必填填写说明与示例
存储桶名称必填目标存储桶的名称
地理区域必填如 ap-shanghai
Access key必填腾讯云账号 Access Key ID
Secret key必填腾讯云账号 Access Key Secret
Endpoint必填如 https://cos.ap-guangzhou.myqcloud.com
目标路径必填如 path/test
注意:Endpoint 字段在 Amazon S3 下为选填,在阿里云 OSS 和腾讯云 COS 下为必填。

3.4 保存并确认配置生效#

1.
检查带 * 号的必填项均已填写,点击弹窗底部的 保存(或 确认)按钮。
2.
保存成功后弹窗关闭,渠道列表中出现一行新记录,显示渠道名称、渠道类型、交付目的地(Bucket 名称)和创建时间,即创建成功。
3.
鼠标悬停在列表行上,操作 列会出现 编辑 和 删除 按钮,可随时修改或删除渠道。
image.png
⚠️ 重要提示:保存渠道时,系统不会立即校验访问密钥和 Bucket 是否可用。如果密钥错误或权限不足,会在后续实际交付文件时失败。建议渠道创建后,先按第四部分流程用一个小任务实际交付一次进行验证。

第四部分:采集与云交付#

视频采集和网页采集两个模块的云交付用法基本一致,但入口和个别选项有差异,本章分别说明。

4.1 视频数据采集:配置任务并开启云交付#

(1)进入视频采集功能
1.
登录 Dataify 控制台,点击左侧边栏 视频数据采集。
2.
在"视频采集"标签下,按顺序选择 视频平台(YouTube / TikTok)、采集方式(视频 ID / URL、搜索过滤器、标签、播客URL、关键词、探索)、采集内容(视频基本信息、评论信息、字幕文件、视频文件、音频文件、视频帖子、个人资料)。
image.png
(2)配置并发起视频采集任务
1.
在工具页输入区填写采集条件,按需调整参数。
2.
点击 开始采集 发起任务。任务会消耗积分,页面上方显示该工具的单价。
(3)为采集任务开启云交付(工具级配置)
视频采集通过工具页的 交付与通知 按钮关联云交付。配置是按采集工具保存的:为某个工具开启云交付后,该工具的任务结果将按配置自动交付。
1.
在工具页点击 交付与通知 按钮,弹出"交付与通知"窗口。
2.
结果文件名(参数名 file_name)默认值为 {{TasksID}},即默认用任务 ID 作为结果文件名,一般无需修改。
3.
若还没有任何可用渠道,云交付区域会显示 暂无交付渠道,点击 去配置 完成渠道创建后返回。
4.
已有渠道时,打开 开启云交付 开关,依次设置:
文件格式(必选):JSON、CSV、XLSX;
交付类型(必选):
仅当前任务:只交付本次配置后发起的这一批任务的结果;
后续所有任务:该工具后续新生成的所有结果文件都会自动云交付;
交付渠道(必选):Amazon S3 / Alibaba Cloud OSS / Cloud Object Storage;
交付渠道名称(必选):从您已创建的渠道中勾选(支持多选)。
5.
点击 确认 保存配置,回到工具页点击 开始采集。任务执行成功后,结果文件将自动上传到您的云存储。
image.png
(4)为历史任务补建交付(新建交付)
除了在工具上提前配置,您也可以为已经采集成功的任务补建交付:
1.
进入 视频数据采集 → 任务与交付 → 云交付 → 云交付列表,点击 新建交付 按钮。窗口顶部提示:创建成功后记录不可修改,仅可开启、关闭和删除。
2.
依次设置:
交付类型(必选):指定任务 ID(指定交付已采集成功的结果文件,最多可选择 10 个任务 ID)或 后续所有任务(该工具后续新生成的所有文件都将进行云交付);
指定采集工具(必选):下拉选择采集工具(支持搜索);
指定任务 ID(选择"指定任务 ID"类型时必填):下拉显示该工具已采集成功的任务,支持搜索和多选;
文件格式(必选):JSON、CSV、XLSX、源文件形式、压缩包形式;
交付渠道 与 交付渠道名称(均必选)。
3.
点击 确认 创建交付记录。
image.png

4.2 网页数据采集:配置任务并开启云交付#

(1)进入网页采集功能
1.
点击左侧边栏 网页数据采集,进入"网页采集商店"。
2.
在"商店"标签下,通过搜索框或分类找到目标平台(如 Amazon),进入产品页,再选择具体采集工具(如"Amazon 产品详情采集工具 → 通过ASIN采集")。
image.png
(2)配置采集任务
在工具页的"配置"视图中,填写输入参数(如 ASIN,示例占位 B0BZYCJK89),设置 结果文件名(参数名 file_name,默认 {{TasksID}}),然后发起采集任务。
(3)开启云交付(工具级配置)
网页采集工具的云交付设置直接内嵌在工具配置页中(不需要像视频采集那样打开"交付与通知"弹窗):
1.
在工具页"配置"视图下,找到 云交付 区域。
2.
若还没有可用渠道,会提示 请先配置一个云交付渠道,点击 去配置 或 新增交付渠道 即可创建(表单与第三部分完全相同,创建的渠道全账号共用)。
3.
已有渠道时,打开 开启云交付 开关,按提示选择文件格式、交付类型、交付渠道与渠道名称(字段含义同 4.1)。
4.
保存后,发起的采集任务结果将自动交付到您的云存储。
image.png
(4)为历史任务补建交付
1.
进入 网页数据采集 → 任务与交付 → 云交付(注意:需从页面内"云交付"链接进入;在浏览器地址栏直接输入该地址可能跳转到仪表盘)。
2.
点击 新建交付,弹窗字段与 4.1(4)完全相同,差异仅在 文件格式:网页采集只有 JSON、CSV、XLSX 三种(没有"源文件形式"和"压缩包形式",这两种仅视频采集提供)。
也可以在单个工具页内操作:工具页视图按钮组 配置 / 概述信息 / 任务列表 / 云交付 / 统计 中点击 云交付,即可查看限定当前工具的云交付列表和配置,并使用 新建交付。

4.3 查看任务执行状态#

视频采集:进入 视频数据采集 → 任务与交付 → 任务列表;
网页采集:进入 网页数据采集 → 任务与交付 → 任务列表。
任务表中可查看 任务ID(可复制)、采集工具、状态(成功/失败)、创建时间、结果、成功率、消耗积分、执行记录(失败任务会附失败原因)等信息。成功任务的 操作 列提供 下载(手动下载结果文件)和 云交付(跳转云交付管理页)入口。页面支持按任务 ID / 工具名称搜索、按状态和时间范围筛选,并可点击 刷新 更新。

4.4 查看交付状态#

视频采集:进入 视频数据采集 → 任务与交付 → 云交付 → 云交付列表;
网页采集:进入 网页数据采集 → 任务与交付 → 云交付 → 云交付列表。
每条交付记录的关键信息:
列说明
所属工具 / 交付类型 / 交付渠道 / 文件格式该交付对应的工具、类型(指定任务 ID / 后续所有任务)、渠道和格式
最新交付时间 / 最新交付状态最近一次交付的时间和进展(如"交付中",失败会显示"失败")
任务状态开关按钮,可随时开启/关闭该交付记录
操作删除 该交付记录(会弹出"确认删除这条交付记录吗?"的确认提示)
注意:交付记录创建后不可修改,只能开启、关闭或删除。如需更换文件格式或渠道,请删除后重新创建。
image.png

4.5 确认交付成功并获取文件#

1.
在云交付列表中,等待 最新交付状态 不再显示"交付中"。
2.
交付完成后,登录您自己的云存储控制台(AWS S3 / 阿里云 OSS / 腾讯云 COS),进入交付渠道中配置的 Bucket → 目标路径,即可看到交付的结果文件(默认以任务 ID 命名,或为您设置的 file_name 规则)。
3.
平台侧的任务 下载 按钮仍然可用,随时可以手动下载结果文件作为补充。

修改于 2026-10-27 08:10:52
上一页
MCP教程配置
下一页
简介
Built with