作者:finedatalink
发布时间:2023.8.22
阅读次数:1,146 次浏览
以FineDateLink为例,详解ETL工具如何通过API取数取出 JSON 类型数据
API 入门详情参见:API入门
1.1 应用场景
有时用户需要先获取 Token 或者某个指定数据,然后再根据 Token 从指定 API 中取出 JSON 类型数据。
例如我们想要通过 API 取数将单条数据写入简道云表单中,然后将写入表单中的数据(包含 JSON 结构)解析并同步至指定的数据库中。
简道云 API 文档新建单条数据接口可以通过接口将单条数据写入简道云表单:
查询单条数据接口可以查询某一条表单数据并返回该数据的详细结构:
1.2 方案说明
「新增单条数据」接口返回填入表单的对应数据的 ID,而这个 ID 则是「读取单条数据」接口中的请求参数,需要放到 body 中,如下图所示:
此时即可使用参数赋值功能,在「新增单条数据」返回的响应数据中取出 ID 字段作为参数,将其用于后续「读取单条数据」请求参数body 中进行取数。
由于API取数取出的数据是主表单中部分 JSON 格式数据,需要进行JSON解析改变数据结构,因此需要使用数据转换功能。
1.3 效果查看
同步至数据库中的数据如下图所示:
示例详情参见官方demo:http://demo.finedatalink.com/ 01.参数赋值-API Token传递
2.1 参数赋值获取token
新建任务,选择「参数赋值」节点,选择数据源类型为 API,并输入接口的请求地址,选择验证方式并选择请求类型为 POST,如下图所示:
对于 POST 类型请求的接口,由于请求内容为 application/json JSON数据格式,可写入请求参数(JSON 格式),根据接口文档中请求参数可以将下面几个参数放入body中,如下图所示:
对于返回的 JSON 格式数据,可以通过填写 JSON 路径从返回结果中查询单个 JSON 对象或者数组。点击「数据预览」即可查看到返回的响应数据,根据 1.2 节方案,需要将响应数据中的 ID 字段设置为参数,如下图所示:
2.2 将数据同步至数据库
若取出的数据是JSON格式数据,可以使用数据转换节点,方便后续将取出的 JSON 格式数据进行解析。
新增数据转换节点,新增 API 输入,将查询单条数据接口的请求地址和请求类型填入,如下图所示:
对于 POST 类型请求的接口,由于请求内容为 application/json JSON数据格式,可写入请求参数(JSON 格式),根据接口文档中请求参数可以将 data_id 参数放入body中,同时使用在参数赋值中生成的参数 a,将写入表单的数据取出,如下图所示:
由于想取出的数据是 JSON 数据,因此可以使用 JSON 解析将数据解析,选择需要的节点数据,如下图所示:
预览即可查看解析好的部分主表单数据,然后即可使用 DB 表输出将数据同步至指定数据库,如下图所示:
在数字化时代下,大数据治理对企业数据建设的重要性不言而喻,然而实现的困难有时也让人望而却步,因此选择合适的技术和工具会达到事半功倍的效果。帆软FineDataLink——中国领先的低代码/高时效数据集成产品,能过为企业提供一站式的数据服务,通过快速连接、高时效融合多种数据,提供低代码Data API敏捷发布平台,帮助企业解决数据孤岛难题,有效提升企业数据价值。
数据集成平台产品更多介绍:www.finedatalink.com
上一篇: 不同数据库怎么实现数据迁移,3款ETL工具高效处理下一篇: 中国企业500强某地产集团: 通过数据整合,以API接口的方式进行数据提供,以解决原系统业务激增带来的性能问题