Search

Google Storage 端口

Version 24.3.9111

Google Storage 端口

Google Storage 端口从 Google Storage 中上传和下载文件。

概述

每个 Google Storage 端口与一个特定的 Google 存储服务 账号连接。在远程存储中，桶被设置为上传和/或下载目标。可以在存储桶中指定上传和下载路径，并且过滤规则只能用于发送和接收指定的文件名和/或文件扩展名。

知行之桥工作流中到达 Google Storage 端口的文件将被上传至上传目标文件夹，在下载目标文件夹下的文件会被下载并进入知行之桥工作流。该端口支持上传和下载过滤规则，即只发送和接收特定文件名和／或文件扩展名的文件。

账号认证基于 OAuth，因此账号认证必须在端口首次连接在外部站点门户中输入。外部门户生成端口用来连接的 OAuth 令牌，且端口会自动处理令牌刷新。

端口配置

本部分包含所有可配置的端口属性。

设置

授权

与授权访问远程存储有关的设置。

  • 端口 Id 端口的静态、唯一标识符。
  • 端口类型 显示端口类型及其用途的描述。
  • 端口描述 一个可选字段，用于提供端口及其在流中的角色的自由格式描述。
  • 客户端 ID 目标存储账号的客户端 ID 认证，由 Google 提供。该值应直接通过 Google Console 获得。
  • 客户端密码 目标存储账号的客户端密码认证，由 Google 提供。该值应直接通过 Google Console 获得。

注意：Google 在生成 OAuth 认证时可能需要 OAuth 回调／重定向 URL。知行之桥的回调／重定向 URL 与应用程序托管处的地址／端口相同，加下面的源路径：src/oauthCallback.rst。例如，如果知行之桥托管在 “mydomain.com” 的 8001 端口，那么就应指定下面的 URL 为回调／重定向 URL： http://mydomain.com:8001/src/oauthCallback.rst。

服务器配置

与目标存储服务器相关的设置.

  • 桶名称 Google Storage 中用于上传和/或下载文件的存储桶。

发送

与上传文件到远程存储服务有关的设置。

  • 远程文件夹 端口处理过的文件将被上传到特定的远程文件夹。
  • 覆盖 是否应该上传（覆盖）或跳过已存在于远程文件夹中的文件。

接收

与从远程存储中下载文件有关的设置。

  • 远程文件夹 端口从该远程文件夹下载文件。多个文件夹可以使用逗号分隔。
  • 删除 是否要从远程存储上删除已成功下载的文件。

缓存

与缓存和比较多次下载之间的文件相关的设置。

  • 文件大小比较 选中此选项可记录下载的文件名和大小。 除非文件大小与上次下载的不同，否则将跳过以前下载的文件。
  • 时间戳比较 选中此选项可保留下载文件名和上次修改时间戳的记录。 除非时间戳与上次下载的时间戳不同，否则将跳过以前下载的文件。

注意：启用缓存后，文件名不区分大小写。 例如，端口无法区分 TEST.TXT和test.txt。

自动化

自动化设置

与端口自动处理文件有关的设置。

  • 发送 到达端口的文件是否会被自动处理。
  • 重试间隔 上传失败后进行重试之前的时间间隔。
  • 最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证（如需要回执）。如果设置为 0，那么端口将无限次尝试处理失败文件。
  • 下载 端口是否应自动轮询要下载文件的远程下载路径。
  • 下载间隔 自动下载之间的间隔。
  • 分 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
  • 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如，如果将此值设置为 5，将在 1:05、2:05、3:05 自动执行脚本。
  • 时 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 Daily 或 Weekly 或 Monthly 时适用。
  • 天 进行消息处理的某一天。仅当执行间隔被设置为 Weekly 或 Monthly 时适用。
  • Cron 表达式 表示 cron 表达式的任意字符串，用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

  • 最大线程数 从线程池中消耗用于处理此端口上的文件的最大工作线程数。 如果设置，这将覆盖 设置 > 自动化 页面上的默认设置。
  • 最大文件数 分配给端口的每个线程发送的最大文件数。 如果设置，这将覆盖 设置 > 自动化 页面上的默认设置。

通知

与配置警报和服务等级协议 (SLA) 相关的设置。

端口邮件设置

在执行 SLA 之前，需要设置电子邮件警报以获取通知。 单击 配置通知 将打开一个新的浏览器窗口，转到 系统设置，可以在其中设置系统范围的警报。 有关详细信息，请参阅通知。

服务等级协议 (SLA) 配置

SLA 能够配置期望工作流中的端口发送或接收的数量，并设置期望满足该数量的时间范围。 知行之桥在不满足 SLA 时发送电子邮件警告用户，并将 SLA 标记为 有风险，这意味着如果很快不满足 SLA，则会将其标记为 已违反。 这使用户有机会介入并确定未满足 SLA 的原因，并采取适当的措施。 如果在风险时间段结束时仍未满足 SLA，则将 SLA 标记为违反，并再次通知用户。

要定义 SLA，请单击 添加预期数量条件。

  • 如果端口具有单独的发送和接收操作，请使用单选按钮指定 SLA 所属的方向。
  • 将 期待至少 设置为期望处理的最小交易数量（交易量），然后使用 每 字段指定时间范围。
  • 默认情况下，SLA 每天都有效。 要更改此设置，请取消选中每日，然后选中想要的一周中的几天的框。
  • 使用 将状态设置为“有风险” 来指示何时应将 SLA 标记为存在风险。
  • 默认情况下，在违反 SLA 之前不会发送通知。 要更改此设置，请选中 发送“有风险”通知。

以下示例显示为预计周一至周五每天接收 1000 个文件的端口配置的 SLA。 如果尚未收到 1000 个文件，则会在该时间段结束前 1 小时发送风险通知。

高级设置

代理配置

这些是一组设置的集合，用于识别代理并对其进行身份验证，Google Storage 连接应通过该代理进行路由。 默认情况下，此部分使用设置页面上的全局设置。 清除该复选框可提供特定于的端口的设置。

  • 代理类型 基于代理的防火墙使用的协议。
  • 代理主机 基于代理的防火墙的名称或 IP 地址。
  • 代理端口 基于代理的防火墙的 TCP 端口。
  • 代理用户 用于通过基于代理的防火墙进行身份验证的用户名。
  • 代理密码 用于对基于代理的防火墙进行身份验证的密码。
  • 身份验证方案 保留默认值 None 或选择以下身份验证方案之一：Basic、Digest、Proprietary或NTLM。

高级设置

先前目录中没有包含的设置。

  • 递归 是否下载远程目标路径子文件夹下的文件。
  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量（以秒为单位）。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统，而不是此设置。
  • 超时时间 端口在抛出超时错误之前应等待远程服务器响应的持续时间。
  • 接收过滤规则 全局模式过滤规则，用来确定从远程存储下载哪些文件（例如 *.txt）。负模式用来确定 不 下载哪些文件（例如 -*.tmp）。当需要多个文件掩码模式，应使用该设置。多模式可以使用逗号分隔，除非文件名完全匹配，否则优先使用后面的过滤规则。

消息

  • 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
  • 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如，Weekly 选项指示端口每周创建一个新的子文件夹，并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口，使用子文件夹有助于保持消息的组织性并提高性能。

日志

  • 日志级别 端口生成的日志的详细程度。 当端口请求支持时，请将其设置为 Debug。
  • 日志子文件夹方案 指端口根据选定的时间间隔对日志文件夹中的文件进行分组。 例如，Weekly 选项表示端口每周创建一个新子文件夹并将该周的所有日志存储在该文件夹中。 空白设置告诉端口将所有日志直接保存在 Logs 文件夹中。 对于处理大量事务的端口，使用子文件夹有助于保持日志井井有条并提高性能。
  • 保留消息副本 选中此项可使已处理文件的日志条目包含文件本身的副本。 如果禁用此功能，端口可能无法从 输入 或 输出 选项卡下载文件的副本。

特殊设置

特殊设置 适用于特定用例。

  • 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置，例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

建立连接

Google Storage 需要 OAuth 认证以建立连接。OAuth 认证应该通过 Google Console 从 Google 直接获取，然后在以下端口配置处指定：

  • 客户端 ID
  • 客户端密码

Google 在生成 OAuth 认证时可能需要 OAuth 回调／重定向 URL。知行之桥的回调／重定向 URL 与应用程序托管处的地址／端口相同，加下面的源路径：src/oauthCallback.rst。例如，如果知行之桥托管在 “mydomain.com” 的 8001 端口，应指定下面的 URL 为回调／重定向 URL： http://mydomain.com:8001/src/oauthCallback.rst。

一旦与 Google 的认证完成，Google Storage 端口会处理刷新 OAuth 令牌的过程，以确保身份验证会一直持续。

上传和下载

上传

要上传文件，将 桶名称 字段设置为目标存储桶，然后将发送 -> 远程文件夹设置为文件应被上传的文件夹。每个 Google Storage 端口上传到一个特定的文件夹位置。

覆盖远程文件选项，可以确定是覆盖还是跳过远程文件夹中已存在的文件。高级设置中的发送过滤规则可以用来根据文件名或扩展名来确定端口应上传哪些文件。

配置之后，任何放到端口 Send文件夹下的文件将会被上传至远程存储。如果发送自动化启用，上传将会自动进行；否则，可以通过端口输入选项卡的设置发送单个文件。

下载

要下载文件，将 桶名称 字段设置为目标存储桶，然后将接收 -> 远程文件夹为下载文件的文件夹。多个下载文件夹可以使用逗号分隔。

文件掩码选项可以设置为全局模式过滤规则（例如 *.txt），只下载与过滤规则匹配的文件。要指定过滤规则，可以在高级页面配置接收过滤规则。

接收过滤规则全局过滤格式，用于确定远程存储下载的文件(如，*.txt)，并且只会下载匹配此过滤规则的文件。当需要多个文件过滤表达式的时候，可以用逗号分隔。

删除文件（接收后）选项用于切换是否从远程存储中删除成功下载的文件。

配置之后，将会根据接收自动化的设置下载文件，或者在输出选项卡中通过点击接收按钮手动下载。