Excel/CSV文件输出应用场景

当数据需要在分享给业务人员查看使用或需要以文件形式备份时，通常为了操作简单、高效、易于兼容，会使用Excel或CSV这种文件格式导出数据，也方便直接进行数据分析处理。

随着业务数据量的指数级增长、数据安全性要求的提高，企业就需要将存储在Oracle、SQL Server、PostgreSQL等数据库的百万级明细数据（如销售订单数据），定时定期以Excel或CSV文件格式上传到FTP/SFTP服务器。

一方面，Excel或CSV文件格式应用广泛，易于共享，兼容性强；

另一方面，FTP/SFTP服务器提供了一个安全、可靠的环境来传输、存储和备份数据，同时支持安全的数据传输协议（特别是SFTP，它是基于SSH的FTP协议，提供了数据加密和认证功能）；

另外，在这个过程中，自动化工具（ETL工具）可以替代脚本很容易地将处理后的数据定期上传，人工干预少，提高了数据处理效率和准确性。

Excel/CSV文件输出的常见问题

很多业务库系统数据表部分导出存在限制；

且手工操作只适用小数据量的文件转换，‌相对繁琐；

脚本编写此类任务时，也常常因为数据量大、数据格式不一致、业务库不许直连等，出现数据丢失（Excel单个sheet行数限制）、任务运行过慢、字段映射方面的报错。

如果数据需要清洗整理，想直接导出处理后的数据（如筛选某一季度即将逾期交付的大额订单），涉及多个字段的处理，想要“一步到位”，更是难上加难。

针对这样的情况，FineDataLink提供了低代码、高效、方便、稳定性强的解决方案。在定时任务中可以使用「文件输出」算子，将加工后的数据设置好字段映射关系、分隔符、编码后，以Excel或CSV文件形式给业务人员分享使用、以文件形式进行数据归档。

FineDataLink支持思维导图式拖拉拽开发，对非技术人员也很友好；丰富多样的「数据转换」算子，可以在直接导出“定制化”数据；配合数据同步的高性能计算引擎，保证定时传输任务高效运转。

合同订单数据文件输出实战

1）合同订单数据输出为 CSV 文件

将处理后的合同订单数据以 CSV 文件的形式，输出到「FTP/SFTP 服务器」中。

1、建立业务系统数据库、FTP/SFTP 服务器数据连接

确定业务系统的数据库，根据数据源配置数据连接。参见：支持的数据源范围

配置 FTP/SFTP 数据连接，并且有该数据连接的使用权限。具体请参见：配置FTP/SFTP数据连接

2、数据处理

新增定时任务，根据数据类型拖入数据输入相关算子，获取要输出的数据。

参考 新增计算列 文档的 2.1-2.4 节内容，在「数据转换」节点中对数据进行处理，若无处理需求可省略该步骤。

3、输出为文件

新增「文件输出」节点，与「新增计算列」算子相连。

将处理好的数据输出到「FTP/SFTP 服务器」中的「文档」文件夹中，文件名为「合同事实表」。

点击右上角「保存」按钮。

4、运行效果查看

点击「保存并运行」按钮，执行任务。执行成功后，可看到 「FTP/SFTP 服务器」的「文档」文件夹中「合同事实表」。

2）合同订单数据输出为 EXCEL文件

基本步骤与【合同订单数据输出为 CSV 文件】一致。

在第三步【输出为文件】中，考虑到数据行数较多时，Excel版本存在行数限制，FineDataLink的「文件输出」算子可以将处理后的数据按照行数拆分为多个文件，避免大数据量出现的报错。（下图设置：每 100 行数据输出为一个 Excel 文件）

FineDataLink是一款低代码/高时效的数据集成平台，它不仅提供了数据清理和数据分析的功能，还能够将清理后的数据快速应用到其他应用程序中。FineDataLink的功能非常强大，可以轻松地连接多种数据源，包括数据库、文件、云存储等，而且支持大数据量。此外，FineDataLink还支持高级数据处理功能，例如数据转换、数据过滤、数据重构、数据集合等。使用FineDataLink可以显著提高团队协作效率，减少数据连接和输出的繁琐步骤，使整个数据处理流程更加高效和便捷。

数据集成平台产品更多介绍：www.finedatalink.com

                         免费体验Demo 咨询方案

上一篇: 值得收藏！数据清洗的十类常用方法下一篇: 满满干货！如何实现数据同步？数据同步有哪些应用场景？