当前位置:主页 > 大数据 > 正文

域名交易_mysql数据库面试题_便宜的

时间:2021-05-03 18:58 来源:埃里克云 编辑:埃里克云

核心提示

本博客提供了CPI-DS中需要遵循的步骤,这些步骤用于自动读取HANA数据库中的数百万条记录,并生成每个文件中有100k(这种大小可以是动态的)记录的文件。 问题:听起来很简单,但...

本博客提供了CPI-DS中需要遵循的步骤,这些步骤用于自动读取HANA数据库中的数百万条记录,并生成每个文件中有100k(这种大小可以是动态的)记录的文件。

问题:听起来很简单,但由于CPI-DS的限制,存在一个挑战,即全局变量是仅在任务实例中使用,并且在任务执行和完成后,变量将被清除。在我们的场景中,我们希望根据上一个任务拾取的最后一个行号来拾取和标识具有下一批10万个行号的记录。这可以在SAP Data Services中完成,但在CPI-DS中是一个挑战。

此博客文章提供了一种方法,可帮助公司在以下场景中加速协调大容量迁移和数据分析:

自动从大型数据库中读取数百万条记录,并将内容分成小块,即10万条根据需要记录每个文件,对每个文件使用动态行数限制,以优化SAP云加载例程的吞吐量和性能,对于大多数SAP云系统,建议使用文件大小。它通过在CPI-DS的不同任务实例之间保留任务变量,即在不同任务实例之间共享变量,实现任务调度的自动化。能够将行数范围追溯到文件名,以便在源和Sap云系统之间高效地协调记录,即文件名1包含记录1到100k,如果文件大小限制为每个文件100k条记录,文件名2包含记录2到200k,以此类推。

当我们迁移大量数据时,这种情况非常常见作为SAP云系统的加载程序,从各种遗留系统加载到SAP云系统中,以期望10万条记录的文件达到最大的加载吞吐量。这种方法可以很容易地将sapcloud加载文件中的错误记录追溯到数据库中的精确记录。此外,它还将加快数据问题的识别和修复,因为我们可以追溯错误到准确的源系统记录,并协调源系统到sap云系统的数据,CPI-DS的设计并不是为了在成为集成中间件后通过存储信息的方式进行操作,但它实际上可以存储链接到每个任务名称和内存ID部分的少量可变数据,这些数据可以在下一个任务执行过程中从后取用一个数据库有500.000行,对于每个任务执行,它必须读取前100.000行并创建一个名称上带有001计数器的文件名,然后下一个任务执行,将读取下面的100.000行并创建第二个文件名002,依此类推…

有两个函数可用于预加载和后加载脚本节和这些函数可以存储和检索CHAR(255)类型的内容。

在后加载时插入函数SAVEDATA(),在预加载时插入函数GETDATA(),将使CPI-DS存储一个CHAR内容,可以在下一个处理中检索。

因此在映射过程中,也可以使用检索到的值,算出并重新存储以便以后检索等等。

奇怪的是,在帮助门户查看这两个功能时,它只提到保存和读取日期信息。

但是查看与更改数据捕获(增量加载)相关的部分,我们可以看到相同的保存数据功能描述略有不同。

它一直链接这些与日期信息相关的功能,但同时它也提到可以存储"任何一段数据"。

这篇博文将有助于解释这两个功能的使用,没有日期关联。

第1步:

除了保存数据和获取数据功能,需要以下其他功能和特性:

GEN\u ROW\u NUM function

JOB\u NAME function

TO\u CHAR function

Global Variables

步骤2:

下面是读取数据库的数据流,根据存储的行号计数器选择行,并使用存储的文件号计数器生成文件。

以下是所需的所有全局变量:

$G\ U RESET–用字母"X"填充以擦除存储的值。

$G\ U file\ U counter\ U CHAR–用于存储/读取函数中的值保存\ U数据并获取所需的\ U数据仅适用于字符类型。

$G_ROW_COUNTER_CHAR–用于存储/读取函数中的值SAVE_DATA并获取仅适用于字符类型的_数据。

$G_CHUNK_SIZE–具有每个文件中所需的行数。

$G_FILENAME–具有名称中串联的计数器文件号的文件名。

$G_ROW_COUNTER–具有最新的行数number.

$G_FILE_COUNTER–具有最新的文件计数器。

第3步:

Transform SelectFields

它在目标文件中选择所需的列,并使用GEN_row_NUM函数创建一个名为COUNTER的字段,该字段将具有与从源数据库检索的数据相关的行号序列。

左侧是源数据库和右侧是所需的列和带有行号的字段计数器。

第4步:

Transform FilterCounter

在这里,它通过使用全局变量来选择行,全局变量正好包含整个任务执行过程中计算的行范围。

第一个任务的全局变量$G\ U row\ U Counter行刑的次数是1,$G_CHUNK_SIZE携带每个文件的行限制,$G_row_计数器将始终将最后一行发送到目标。

步骤5:

预加载脚本

以下代码正在执行以下步骤:

–在代码的开头,它正在检查是否必须重置内存。

–它正在检索存储的数据。

–检查存储的数据是否为空,这意味着第一次执行,然后插入数字1。

–创建连接检索到的计数器编号的文件名。

  • 微软云_美国服务器视频网站_优惠 微软云_美国服务器视频网站_优惠

    随着英国管理脱欧后贸易的能力被置于显微镜下,全球与大萧条时代的经济状况和保护主义的比较也是如此。我早就该深入研究那个时代的经济写作了。比较的要点是惊人的。 凯恩斯...

  • 微软云_亚马逊云计算平台_免费领 微软云_亚马逊云计算平台_免费领

    考虑到即使是英国财政大臣也只"认为自己知道"首相的脱欧想法,尽管议会强烈希望避免"无协议",但很可能会出现依赖世界贸易组织(wto)关税的必要性。在英国受影响最严重的行业...

  • <strong>CDN_存储服务器搭建_最新活动</strong> CDN_存储服务器搭建_最新活动

    jstat是一个简单的实用工具,它存在于JDK中,用于提供与JVM性能相关的统计信息,如垃圾收集、编译活动等。jstat的主要优势在于它能够在JVM运行时动态捕获这些指标,而无需任何必要...

  • <strong>金山云_数据库高级_安全稳定</strong> 金山云_数据库高级_安全稳定

    在这个简短的教程中,我们将构建一个SAP分析云,分析应用程序幻灯片控制器。应用程序显示在大屏幕上,人们可以通过蓝牙与之交互,通过无线设备播放幻灯片。 让我们准备我们需...

  • <strong>中间件_华为云照片在哪找到_免费领</strong> 中间件_华为云照片在哪找到_免费领

    在saps/4hanaplm中,作为简化的一部分,在高级搜索中从搜索参数中提取了许多字段。例如,在标签预先搜索或有效性区域基于标签语言进行搜索。 为了适应这些搜索,我们需要增强搜索...

  • <strong>京东云_腾讯云服务器报价_稳定性好</strong> 京东云_腾讯云服务器报价_稳定性好

    在这个博客里,我将解释在一个标准OWL屏幕中添加超链接以使用extensibility explorer导航到另一个标准业务对象的TI屏幕所需的步骤。 在本例中,我将提供添加超链接以从Sales Quote OWL屏幕...

  • <strong>数据库服务器_华为云存储怎么清理_限时</strong> 数据库服务器_华为云存储怎么清理_限时

    简介: 我得到了从应用服务器读取数据到内部表并下载到演示服务器的要求。 首先我们应该知道如何将内部表数据上传到应用服务器,从那里如何读取应用服务器数据并下载到演示服...

  • <strong>游戏服务器_虚拟主机试用30天_免费领</strong> 游戏服务器_虚拟主机试用30天_免费领

    本系列的第一部分旨在提高对设计一致性重要性的认识。在第二部分中,我提供了更多的背景知识,阐述了一致性对设计和潜在心理过程的影响。第三部分是关于视觉一致性和功能一...

  • <strong>天翼云_云主机windows_速度快</strong> 天翼云_云主机windows_速度快

    因为我第二次看到这个问题,所以我想把这个问题和解决方案一起作为一个博客发布。 一个开发人员发布了一个使用服务绑定的OData服务,并希望使用简单列表报告Fiori应用程序的预览...