Search

S3 端口

Version 24.3.9111

S3 端口

S3 端口集成了 Amazon 的 S3（简单存储服务）和其它类似 S3 的服务（Google存储、Wasabi等）。

总览

每个 S3 端口都可以自动上传到单个 S3 存储桶并从单个 S3 存储桶下载。

在开始之前，需要一个具有适当凭据的 Amazon 帐户（或正在使用的类似 S3 服务的帐户凭据）。 指定存储桶中的上传和下载路径。 端口支持按文件名进行下载过滤。

端口配置

本节包含所有可配置的端口属性。

设置

主机配置

与远程连接目标相关的设置。

  • 端口 Id 端口的静态、唯一标识符。
  • 端口类型 显示端口类型及其用途的描述。
  • 端口描述 一个可选字段，用于提供端口及其在流中的角色的自由格式描述。
  • Service 使用下拉列表选择要连接到的服务。 选择 其他 以指定连接到服务时要使用的基本 URL。
  • 存储桶名称 应该轮询或上传到的S3存储桶。
  • 区域 指定的存储桶名称所在的区域。

账户配置

与有权访问配置的存储桶名称的帐户相关的设置。

  • IAM 角色 是否使用附加的 IAM 角色访问 S3。 仅当 知行之桥 托管在附加了 IAM 角色的 EC2 实例上时才使用此设置。 IAM 凭证取代了下面的两个 Key 选项。
  • 访问密钥 从 Amazon（或类似 S3 的服务）获取的访问密钥帐户凭据。
  • 密钥 从 Amazon（或类似 S3 的服务）获取的 Secret Key 帐户凭证。
  • 使用角色 ARN 使用上面的两个 Key 选项调用 Amazon STS 服务来获取临时凭证，以使用提供的角色 ARN 访问 S3。

TLS 设置

与 S3 服务器的 TLS 相关的设置。

  • 启用 TLS 是否启用 TLS。
  • 服务器公钥证书 用于验证 TLS/SSL 服务器身份的公钥证书。 如果目标服务器使用TLS/SSL，则将此字段设置为标识服务器的证书。 如果服务器的证书不可用，可以将此设置留空以允许底层 OS/JVM 执行证书验证，或将其设置为 “Any Certificate” 以隐式信任服务器的身份。

上传

与指定存储桶中要上传文件的路径相关的设置。

  • 前缀 存储桶中的路径，文件将上传至该文件夹。
  • 覆盖操作 是否应在上传期间覆盖指定存储桶中已存在的文件。

下载

与指定存储桶中要下载文件的路径相关的设置。

  • 前缀 存储桶中用于下载文件的路径。可以在逗号分隔的列表中指定多个路径。
  • 文件过滤规则 全局匹配模式，用于确定应下载前缀中的哪些文件。可以以逗号分隔多个模式。
  • 删除 选中此项可从远程存储中删除成功下载的文件。

缓存

与缓存和比较多次下载之间的文件相关的设置。

  • 文件大小比较 选中此选项可记录下载的文件名和大小。 除非文件大小与上次下载的不同，否则将跳过以前下载的文件。
  • 时间戳比较 选中此选项可保留下载文件名和上次修改时间戳的记录。 除非时间戳与上次下载的时间戳不同，否则将跳过以前下载的文件。

注意：启用缓存后，文件名不区分大小写。 例如，端口无法区分 TEST.TXT和test.txt。

自动化

自动化设置

与端口自动化处理文件相关的设置。

  • 上传 是否自动上传文件到该端口。
  • 重试间隔 失败的上传重试之前的时间间隔。
  • 最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证（如需要回执）。如果设置为 0，那么端口将无限次尝试处理失败文件。
  • 下载 端口是否应自动轮询要下载文件的远程下载路径。
  • 下载间隔 自动下载之间的间隔。
  • 分 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
  • 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如，如果将此值设置为 5，将在 1:05、2:05、3:05 自动执行脚本。
  • 时 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 Daily 或 Weekly 或 Monthly 时适用。
  • 天 进行消息处理的某一天。仅当执行间隔被设置为 Weekly 或 Monthly 时适用。
  • Cron 表达式 表示 cron 表达式的任意字符串，用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

  • 最大线程数 从线程池中消耗用于处理此端口上的文件的最大工作线程数。 如果设置，这将覆盖 设置 > 自动化 页面上的默认设置。
  • 最大文件数 分配给端口的每个线程发送的最大文件数。 如果设置，这将覆盖 设置 > 自动化 页面上的默认设置。

通知

与配置警报和服务等级协议 (SLA) 相关的设置。

端口邮件设置

在执行 SLA 之前，需要设置电子邮件警报以获取通知。 单击 配置通知 将打开一个新的浏览器窗口，转到 系统设置，可以在其中设置系统范围的警报。 有关详细信息，请参阅通知。

服务等级协议 (SLA) 配置

SLA 能够配置期望工作流中的端口发送或接收的数量，并设置期望满足该数量的时间范围。 知行之桥在不满足 SLA 时发送电子邮件警告用户，并将 SLA 标记为 有风险，这意味着如果很快不满足 SLA，则会将其标记为 已违反。 这使用户有机会介入并确定未满足 SLA 的原因，并采取适当的措施。 如果在风险时间段结束时仍未满足 SLA，则将 SLA 标记为违反，并再次通知用户。

要定义 SLA，请单击 添加预期数量条件。

  • 如果端口具有单独的发送和接收操作，请使用单选按钮指定 SLA 所属的方向。
  • 将 期待至少 设置为期望处理的最小交易数量（交易量），然后使用 每 字段指定时间范围。
  • 默认情况下，SLA 每天都有效。 要更改此设置，请取消选中每日，然后选中想要的一周中的几天的框。
  • 使用 将状态设置为“有风险” 来指示何时应将 SLA 标记为存在风险。
  • 默认情况下，在违反 SLA 之前不会发送通知。 要更改此设置，请选中 发送“有风险”通知。

以下示例显示为预计周一至周五每天接收 1000 个文件的端口配置的 SLA。 如果尚未收到 1000 个文件，则会在该时间段结束前 1 小时发送风险通知。

高级设置

代理设置

这些是一组设置的集合，用于识别 S3 连接应通过其路由的代理并对其进行身份验证。 默认情况下，此部分使用设置页面上的全局设置。 清除该复选框可提供特定于端口的设置。

  • 代理类型 基于代理的防火墙使用的协议。
  • 代理主机 基于代理的防火墙的名称或 IP 地址。
  • 代理端口 基于代理的防火墙的 TCP 端口。
  • 代理用户 用于通过基于代理的防火墙进行身份验证的用户名。
  • 代理密码 用于对基于代理的防火墙进行身份验证的密码。
  • 身份验证方案 保留默认值 None 或选择以下身份验证方案之一：Basic、Digest、Proprietary或NTLM。

高级设置

先前类别中未包含的设置。

  • 访问策略 将对象上传到 S3 服务器后设置的访问策略。
  • 加密密码 如果设置了，则在上传之前，将在客户端加密对象数据，并自动解密下载的对象。
  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量（以秒为单位）。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统，而不是此设置。
  • 递归 是否下载目标远程目录子文件夹中的文件。
  • 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息，请参阅宏。
  • 服务器端加密 是否请求 S3 服务器加密服务器端的对象。
  • 虚拟主机 在引用存储桶接口时是使用托管样式还是目录样式。

消息

  • 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
  • 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如，Weekly 选项指示端口每周创建一个新的子文件夹，并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口，使用子文件夹有助于保持消息的组织性并提高性能。

日志

  • 日志级别 端口生成的日志的详细程度。 当端口请求支持时，请将其设置为 Debug。
  • 日志子文件夹方案 指端口根据选定的时间间隔对日志文件夹中的文件进行分组。 例如，Weekly 选项表示端口每周创建一个新子文件夹并将该周的所有日志存储在该文件夹中。 空白设置告诉端口将所有日志直接保存在 Logs 文件夹中。 对于处理大量事务的端口，使用子文件夹有助于保持日志井井有条并提高性能。
  • 保留消息副本 选中此项可使已处理文件的日志条目包含文件本身的副本。 如果禁用此功能，端口可能无法从 输入 或 输出 选项卡下载文件的副本。

特殊设置

特殊设置 适用于特定用例。

  • 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置，例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

建立连接

建立 S3 连接的要求很简单：

  • 亚马逊账户凭证（或 阿里云，华为云，腾讯云，Google, Wasabi,等）
    • 访问密钥
    • 密钥
  • 可以通过上述帐户访问的 S3 存储桶

对于 Amazon S3 来说，此链接可以从 Amazon 获取访问密钥和密钥信息。 或者，通过启用 TLS 选项，可以通过 TLS 保护与 S3 服务器的连接。

上传

上传到远程文件夹

上传部分中的前缀设置指定要上传文件的存储桶路径。这允许在同一个存储桶中将文件逻辑分离到虚拟文件夹中。

注意，S3 服务器不维护真正的文件夹结构，知行之桥使用应用程序逻辑来表示虚拟文件夹结构。前缀（/，\\）中的斜杠表示文件夹层次结构。这允许根据路径中的斜线将文件上传到存储桶中的“子文件夹”或从中下载文件。

自动上传

S3 端口支持通过端口配置中的自动化选项自动上传。启用上传自动化后，到达端口 Send 文件夹的文件将自动上传到指定前缀的指定存储桶名称。

如果文件上传失败，应用程序将在重试间隔结束后再次尝试发送。此过程将继续，直到达到最大重试次数，之后端口将抛出错误。

下载

从远程文件夹下载

下载部分中的前缀设置指定要下载文件的存储桶路径。这允许在同一个存储桶中将文件逻辑分离到虚拟文件夹中。

文件过滤规则提供了一种仅下载指定路径内特定文件名称的方法。

注意，S3 服务器不维护真正的文件夹结构，知行之桥使用应用程序逻辑来表示虚拟文件夹结构。前缀（/，\\）中的斜杠表示文件夹层次结构。这允许根据路径中的斜线将文件上传到存储桶中的“子文件夹”或从中下载文件。

自动下载

S3 端口支持通过端口配置的自动化选项自动上传。启用下载后，将根据指定的下载间隔自动轮询远程存储桶。

宏

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中，可以动态地包含相关信息，例如标识符、时间戳和消息头信息，从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对组织重要的详细信息。

知行之桥 支持这些宏，它们都使用以下语法：%Macro%。

宏 描述
ConnectorID 替换为端口的 ConnectorID。
Ext 替换为端口当前正在处理的文件的文件扩展名。
Filename 替换为端口当前正在处理的文件的文件名（包括扩展名）。
FilenameNoExt 替换为端口当前正在处理的文件的文件名（不带扩展名）。
MessageId 计算端口输出的消息的 MessageId。
RegexFilename:pattern 将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername 替换为端口正在处理的当前消息的目标消息头 (headername) 的值。
LongDate 以常规格式计算系统的当前日期时间（例如，2024 年 1 月 24 日星期三）。
ShortDate 以 yyyy-MM-dd 格式计算系统的当前日期时间（例如 2024-01-24）。
DateFormat:format 以指定格式（format）计算系统的当前日期时间。 有关可用的日期时间格式，请参阅示例日期格式
Vault:vaultitem 计算指定保管库项目的值。

示例

某些宏（例如 %Ext% 和 %ShortDate%）不需要参数，但其他宏则需要。 所有带有参数的宏都使用以下语法：%Macro:argument%

以下是带有参数的宏的一些示例：

  • %Header:headername%：其中 headername 是消息上消息头的名称。
  • %Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 消息头的值。
  • %Header:ponum% 解析为输入消息上设置的 ponum 消息头的值。
  • %RegexFilename:pattern%：其中“pattern”是正则表达式模式。 例如，%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词，并且不区分大小写（test_file.xml解析为test） 。
  • %Vault:vaultitem%：其中 vaultitem 是 vault 中项目的名称。 例如，%Vault:companyname%解析为存储在保管库中的companyname项的值。
  • %DateFormat:format%：其中 format 是可接受的日期格式（有关详细信息，请参阅示例日期格式）。 例如，%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏，如以下示例所示：

  • 将多个宏组合在一个文件名中：%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
  • 包括宏之外的文本：MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
  • 在宏中包含文本： %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%