CData 端口设置

Version 24.2.9039


CData 端口设置


CData 端口允许你通过从 CData 推送或拉取数据来将 CData 集成到你的数据流中。 按照以下步骤将知行之桥连接到 CData。

安装 CData 驱动程序

在连接到数据源之前,你必须为相应的数据源安装 ADO.NET 提供程序(Windows 版)或 JDBC 驱动程序(Java 版)。

ADO.NET

按照以下步骤下载并运行 ADO.NET 提供程序的 CData 安装程序:

  1. 在【CData数据源列表】 (https://www.cdata.com/drivers/){:target=”_blank”}) 中找到需要的数据源。 单击数据源以显示该数据源的页面。

  2. 找到列出可用驱动程序类型的顶部工具栏,然后单击 ADO.NET

  3. 在结果页面上点击下载

  4. 下载试用版(30 天的完整功能)或完整驱动程序(需要购买许可证)。 通过 sales@kasoftware.cn 联系知行软件团队以安排驱动许可。

  5. 运行下载的安装程序。

  6. 重新启动知行之桥服务器以允许 CData 端口检测新的驱动。

JDBC

为了让 CData 端口识别 JDBC 驱动程序,你必须安装它并将其放置在托管知行之桥的 Java 服务器的“lib”文件夹中。

  1. 在【CData数据源列表】 (https://www.cdata.com/drivers/){:target=”_blank”}) 中找到需要的数据源。单击数据源以显示该数据源的页面。

  2. 找到列出可用驱动程序类型的顶部工具栏,然后单击 JDBC

  3. 在结果页面上点击下载

  4. 下载试用版(30 天完整功能)或完整驱动程序(需要购买许可证)。通过 sales@kasoftware.cn 联系知行软件团队以安排驱动许可。

  5. 从下载的存档中提取并运行setup.jar 文件。

  6. 导航到驱动程序安装目录,在/lib/ 文件夹中找到驱动程序.jar 文件和.lic (license) 文件。

  7. 将驱动程序.jar.lic 文件复制到托管知行之桥的Java 服务器的/lib/ 文件夹中。

  8. 重新启动知行之桥服务器以允许 CData 端口检测新驱动程序。

建立一个连接

需要让知行之桥使用 CData 的数据,你必须给每个 CData 端口的实例输入连接凭证。CData 的连接无法被多个 CData 端口重复使用。

用下面的步骤创建一个连接:

  1. 拖拽 a CData 端口到工作流设计器并且给他个名字。

  2. 在端口的配置面板,在下拉菜单选择所需驱动

  3. 认证的过程根据驱动不同大相径庭:
    • 如果连接属性出现,那么输入需要的信息并点击测试连接来测试知行之桥是否能连上 CData。如果出现错误,请重新检查并重试。
    • 如果出现 连接 按钮,那么点击它将开始 OAuth 认证。
  4. 点击 保存变更

注意高级选项卡上还有特定于数据源的身份验证和配置选项。 本文档并未对它们进行全部描述,请查看各自选项的提示消息。

选择一个操作

与 CData 建立连接后,你必须选择 CData 端口将执行的操作。 知行之桥可以支持CData 的下面的操作方式。 下表概述了每个操作及其在知行之桥工作流中的位置:

操作 描述 工作流中位置
Upsert 插入或更新 CData 数据。 默认情况下,如果 CData 中已存在记录,则使用输入提供的键值对 CData 中的现有数据执行更新。 End
Lookup 从 CData 检索值并将该值插入到流中已存在的知行之桥消息中。
Lookup 查询确定端口将从 CData 检索什么值。 它应该被格式化为针对 CData 表的 SQL 查询。
Middle
Lookup 存储过程 将进入端口的数据视为存储过程的输入,然后将结果插入到流中的现有知行之桥消息中。
可以单击“测试查找”模式中的“显示示例数据”按钮,为所选存储过程提供示例输入并预览结果。
Middle
Select 从 CData 检索数据并将其带入知行之桥。
可以使用过滤器面板向选择添加过滤器。 这些过滤器的功能类似于 SQL 中的 WHERE 子句。
Beginning
执行存储过程 将进入端口的数据视为存储过程的输入,然后将结果向下传递。
可以单击“测试执行存储过程”模式中的“显示示例数据”按钮,为所选存储过程提供示例输入并预览结果。
Middle

自动化选项卡

自动化设置

与端口自动处理文件相关的设置。

  • 发送 是否自动发送到达端口的文件。
  • 重试间隔 重试失败发送之前的分钟数。
  • 最大次数 端口处理文件的最大次数。 成功是根据成功的服务器确认来衡量的。 如果将此设置为 0,端口将无限期地重试该文件。
  • 接收 端口是否应自动查询数据源。
  • 接收间隔 自动查询尝试之间的时间间隔。
  • 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
  • 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如,如果将此值设置为 5,将在 1:05、2:05、3:05 自动执行脚本。
  • 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 DailyWeeklyMonthly 时适用。
  • 进行消息处理的某一天。仅当执行间隔被设置为 WeeklyMonthly 时适用。
  • Cron 表达式 表示 cron 表达式的任意字符串,用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

  • 最大线程数 从线程池中消耗用于处理此端口上的文件的最大工作线程数。 如果设置,这将覆盖 设置 > 自动化 页面上的默认设置。
  • 最大文件数 分配给端口的每个线程发送的最大文件数。 如果设置,这将覆盖 设置 > 自动化 页面上的默认设置。

通知

与配置警报和服务等级协议 (SLA) 相关的设置。

端口邮件设置

在执行 SLA 之前,需要设置电子邮件警报以获取通知。 单击 配置通知 将打开一个新的浏览器窗口,转到 系统设置,可以在其中设置系统范围的警报。 有关详细信息,请参阅通知

服务等级协议 (SLA) 配置

SLA 能够配置期望工作流中的端口发送或接收的数量,并设置期望满足该数量的时间范围。 知行之桥在不满足 SLA 时发送电子邮件警告用户,并将 SLA 标记为 有风险,这意味着如果很快不满足 SLA,则会将其标记为 已违反。 这使用户有机会介入并确定未满足 SLA 的原因,并采取适当的措施。 如果在风险时间段结束时仍未满足 SLA,则将 SLA 标记为违反,并再次通知用户。

要定义 SLA,请单击 添加预期数量条件

  • 如果端口具有单独的发送和接收操作,请使用单选按钮指定 SLA 所属的方向。
  • 期待至少 设置为期望处理的最小交易数量(交易量),然后使用 字段指定时间范围。
  • 默认情况下,SLA 每天都有效。 要更改此设置,请取消选中每日,然后选中想要的一周中的几天的框。
  • 使用 将状态设置为“有风险” 来指示何时应将 SLA 标记为存在风险。
  • 默认情况下,在违反 SLA 之前不会发送通知。 要更改此设置,请选中 发送“有风险”通知

以下示例显示为预计周一至周五每天接收 1000 个文件的端口配置的 SLA。 如果尚未收到 1000 个文件,则会在该时间段结束前 1 小时发送风险通知。

高级设置

高级选项卡上的许多设置都是从正在使用的数据源动态加载的,因此本文档中未介绍这些设置。请查看他的提示消息。

下面描述的选项适用于所有数据源。

消息

  • 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
  • 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口,使用子文件夹有助于保持消息的组织性并提高性能。

代理配置

端口使用代理时的配置。

  • 使用“系统设置” 表示端口切换使用在知行之桥的“系统设置”选项卡下配置的代理设置。
  • 代理类型 要使用的代理类型。 选择无则不使用代理。 否则,选择Tunnel、SOCKS4、SOCKS5 或 HTTP。
  • 代理主机 代理服务器。 格式取决于所选的代理类型。
  • 代理端口 连接到代理时使用的端口。
  • 代理用户 连接到代理时使用的用户名。
  • 代理密码 关联用户名的密码。
  • 认证方式 连接到代理时使用的协议。 选项包括Basic、Digest、Proprietary 和 NTLM。

高级设置

高级设置 是依赖任意数据库驱动程序(例如数据库、CData 和 API 端口)的端口的常用设置,以便连接到各种数据源。

  • 自动截断 启用后,端口会自动截断任何长度超过允许限制的字符串或二进制列值。
  • 命令超时时间 命令执行超时持续时间(以秒为单位)。
  • 上次插入的 ID 查询 提供一个要执行的查询,以检索上次插入的记录的自动增加的 ID。
  • 日志级别 端口生成的日志的详细程度。 当请求支持时,请将其设置为 调试
  • 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息,请参阅
  • 保留消息副本 选中后,端口会在日志目录中的消息日志旁边保留消息的副本。 如果禁用此功能,可能无法从 输入输出 选项卡下载文件的副本。
  • 最大失败记录数 插入期间允许失败以允许处理继续的最大记录数。 默认值 0 表示任何错误都会导致输入消息被标记为错误,并且回滚任何未提交的事务。 值 -1 表示忽略所有错误,并且端口继续尝试插入后续记录。 正值意味着端口继续尝试插入记录,直到达到阈值。
  • 输出文件格式 表示输出数据的格式。 默认值 (XML) 使端口为处理的每个记录输出一个 XML 文件,同时可以选择将多个记录组合成单个数据结构(取决于 最大记录 的值)。 CSV 和 TSV 选项以其各自的文件格式输出数据。 此选项不适用于包含子表的复杂表结构。
  • 处理更改间隔单位 仅适用于选择操作。 当在设置选项卡的选择配置部分的高级部分选中使用列列名处理新的或更改的记录时,这控制如何解释 流程更改间隔 设置(例如,小时、天或周)。 有关此设置和以下两个设置的详细信息,请参阅仅处理新的或更改的记录
  • 处理变更开始日期 当在设置选项卡的选择配置部分选中使用列columnname处理新的或更改的记录时,这将控制要检索的数据的开始日期。
  • 数据复制分块间隔单位 当在 设置 选项卡的 选择配置 部分上选中 使用列 列名 处理新的或更改的记录时,这将控制历史数据量知行之桥尝试在第一次尝试时进行处理。 例如,保留默认值 180(天)意味着知行之桥仅尝试处理过去 180 天内创建或修改的数据。
  • 数据复制分块间隔 选中使用列 列名 处理新的或更改的记录 时重置存储的缓存。
  • 批处理容量 如果数据源支持批量,则批量中的最大查询数。
  • 批处理大小 批量组中批量消息的最大数量。
  • 最大记录数: 单个输出消息中包含的最大记录数。 使用 -1 表示所有输出记录应放入单个文件中,使用 0 表示端口可以根据配置的 输出文件格式 进行决定。 默认情况下,XML 每个文件输出一条记录,而平面文件格式则包含一个文件中的所有记录。
  • 事务容量 事务中的最大查询数。
  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量(以秒为单位)。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统,而不是此设置。
  • 日志文件夹结构 指示端口根据选定的时间间隔对 Logs 文件夹中的文件进行分组。 例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有日志存储在该文件夹中。 空白设置告诉端口将所有日志直接保存在 Logs 文件夹中。 对于处理许多事务的端口,使用子文件夹可以帮助保持日志井井有条并提高性能。

其它

其他设置 适用于特定用例。

  • 其他设置 使能够在分号分隔的列表中配置隐藏的端口设置(例如,setting1=value1;setting2=value2)。 正常的端口用例和功能不应要求使用这些设置。

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中,可以动态地包含相关信息,例如标识符、时间戳和消息头信息,从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对组织重要的详细信息。

知行之桥 支持这些宏,它们都使用以下语法:%Macro%

描述
ConnectorID 替换为端口的 ConnectorID。
Ext 替换为端口当前正在处理的文件的文件扩展名。
Filename 替换为端口当前正在处理的文件的文件名(包括扩展名)。
FilenameNoExt 替换为端口当前正在处理的文件的文件名(不带扩展名)。
MessageId 计算端口输出的消息的 MessageId。
RegexFilename:pattern 将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername 替换为端口正在处理的当前消息的目标消息头 (headername) 的值。
LongDate 以常规格式计算系统的当前日期时间(例如,2024 年 1 月 24 日星期三)。
ShortDate 以 yyyy-MM-dd 格式计算系统的当前日期时间(例如 2024-01-24)。
DateFormat:format 以指定格式(format)计算系统的当前日期时间。 有关可用的日期时间格式,请参阅示例日期格式
Vault:vaultitem 计算指定保管库项目的值。

示例

某些宏(例如 %Ext% 和 %ShortDate%)不需要参数,但其他宏则需要。 所有带有参数的宏都使用以下语法:%Macro:argument%

以下是带有参数的宏的一些示例:

  • %Header:headername%:其中 headername 是消息上消息头的名称。
  • %Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 消息头的值。
  • %Header:ponum% 解析为输入消息上设置的 ponum 消息头的值。
  • %RegexFilename:pattern%:其中“pattern”是正则表达式模式。 例如,%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词,并且不区分大小写(test_file.xml解析为test) 。
  • %Vault:vaultitem%:其中 vaultitemvault 中项目的名称。 例如,%Vault:companyname%解析为存储在保管库中的companyname项的值。
  • %DateFormat:format%:其中 format 是可接受的日期格式(有关详细信息,请参阅示例日期格式)。 例如,%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏,如以下示例所示:

  • 将多个宏组合在一个文件名中:%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
  • 包括宏之外的文本:MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
  • 在宏中包含文本: %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%