SRM基准测试中工作负载定制与性能评估

打开文本图片集

摘 要：为解决多租用者应用程序所面临的经营规模和运行特性等最佳配置策略问题，创建了名为S-BM基准的模拟供应商关系管理应用程序。S-BM基准作为代表基准测量的一种方式，可以用来评估多租用者应用程序和资源利用配置问题。通过两组设备对定制的负载生成器进行评测，包括在12个从小到大商业规模的代表负载中测量系统应用程序性能，以及在多样基础设施配置基础上对比其性能和不同负载成本等。实验研究负载与性能之间的关系，帮助找到用于多租用者应用程序的最优配置策略，结果表明，通过在共享环境下重新配置大和小交易应用程序，负载性能在同样资源成本情况下增长了30%。

关键词：SRM;SaaS;负载

DOI：10. 11907/rjdk. 191496

中图分类号：TP393

文献标识码：A文章编号：1672-7800（2019）006-0188-04

Abstract：To address the optimal configuration policy issues faced by multi-tenant applications， such as scale of operations and operational characteristics， we created a simulated vendor relationship management application called the S-BM benchmark which serves as a way of representing benchmark measurements that can be used to evaluate multi-tenant applications and resource utilization configuration issues. We measured the custom load generator across two sets of devices， including measuring the application performance of the system in 12 small to large commercial scale representative loads and comparing its performance against the cost of different loads based on a variety of infrastructure configurations. The results of these experiments which examined the relationship between load and performance helped us find the optimal configuration strategy for multi-tenant applications. In the end， we found that by reconfiguring large and small transactions applications in a shared environment， the performance of the load was increased by 30 percent at the same resource cost.

Key Words：SRM;SaaS;workload

0 引言

SaaS（軟件即服务）作为一种软件服务交付方式，已经得到中小企业广泛认同。SaaS模式可帮助厂商增强差异化竞争优势，降低开发成本和维护成本，加快产品或服务进入市场的节奏，有效降低营销成本，改变自身收入模式，改善与客户之间关系[1]。作为SaaS模式提供的供应商关系管理（Supplier Relationship Management，SRM）应用具有多租户特征[2]。SRM最显著的特征是多个企业租户之间可以共享一个应用实例、基础设施及其软硬件资源，达到多种资源复用目的。同时，针对企业用户数量以及业务数据规模各不相同的情况，每个租户作为一个单独对象，拥有不同业务规模。在租用服务过程中，服务供应商给每个租户配置的系统资源也不一样[3]。目前国内外研究中，保证租用者满意度和供应者可负担成本是发展SaaS一个不可避免的问题，同时也是研究者孜孜不倦寻找解决方案的问题。目前面临的瓶颈是，从供应者角度出发，他们必须能发现过度预分配的和未充分使用的资源，这个问题包括在可扩展性、未被使用资源和演化代价之间的权衡。因此，多租用者应用程序的最优配置成为完善服务性能资源利用率的关键。

通常情况下，研究者一般用benchmark基准评估与对比应用程序和系统性能。该类评估的准确翻译需要有综合负载基本知识，基准用于判定它怎么表现多样电子商务应用程序在现实生活中的负载[4]。

在众多可行的评测电商服务器性能基准中，有些采用之前的应用程序如TPC-W事务Web基准，模仿自易趣网的RUBiS拍卖基准和RUBBoS布告栏基准，以评测与对比电脑系统性能[5-7]。但是，传统基准并不能全部适用于具有不同特点的应用程序。与此同时，国内外很多普通用途的负载生成工具已被研发出来，例如UC伯克利为云计算应用程序研发了一种负载生成工作包——Rain，允许描述在3种主要符合规格下的概率分布使用，架构支持多种负载生产策略（开环、闭环、半开环），具有将新系统或新应用程序作为目标客户定制需求生成器的易用性和可拓展性[8]。Diwakar等[9]提出一种基于互助请求会话特征的合作生成工作负载理论，特点是可以自主生成具有某种特性的负载，并且能够维持正确的相互请求依赖关系[10]。为了动态地改变一个处理器的架构，使其更好地适应负载特征，Hashem等[11]提出一种建筑争夺方式，即在一种领导者追随者配置中基于很多不同建筑处理器的代码冗余执行（针对不同负载特点的单独定制）。不可否认的是，互联网负载生成远比它看起来复杂，一个关于RUBiS客户生成器的实验证明，由JVM和Java网络库使用生成器报告的响应时间可能很不准确[12]。由于模拟此类程序所面临的技术挑战，推崇一种能够实现客户服务质量满意度与供应者系统资源利用率水平之间的平衡测量方式[13]。该测量基于一种用于模拟n层SaaS应用程序的具体基准。本文运用一种针对SRM的基准，称为S-BM（基于供应商管理系统的Benchmark）。SRM应用程序被广泛用于制造商供应连锁管理，有助于供应商选择和增加制造商的竞争优势，例如其已被奥铃、雷沃等多个汽车生产商使用。所以，S-BM是专为SRM型应用软件设计的，同时能很好地反映多租用者SaaS应用程序的特点[14]。

本文主要贡献在于为特定租用者以一种可配置方式提供负载私人定制。整个设计和开发过程遵照现代软件工程过程及面向对象设计的要求[15-16]。自动化负载生成器能从描述设置的配置文件创建自定义工作负载工作流。实验测评基于数据生成负载在400 000～4 250 000行数据两组数据库中得出。

1 S-BM基准测试系统

同所有电商基准一样，S-BM基准测试系统包括测试系统（SUT）、数据生成器、模拟器生成器、监视器和分析器等客户服务器架构。每一个SUT里至少包括一个Web应用服务器（WAS）和一个数据库服务器（DS），用来与客户进行沟通和处理通过专用网传来的客户请求。根据具体的SLA（Service-Level Agreement）要求和商业规模，一个或多个租用者应用程序可以被配置到SUT里。

数据生成器被用来生成一个租用者的工作负载数据，其中包括基本数据和基于特定租用者商业特征的数据。

为了刺激现实中供应商将执行的工作量，模拟器生成器被用来生成模拟浏览器，比如给SUT发送HTTP请求。所以，模拟浏览器对负载生成起直接作用。

在S-BM中，效仿顾客行为用HTTP会话连接SUT。每个会话包括18个基于SRM应用程序的网络交互：登陆、指令处理、计划询问、存货询问、计算询问和账单询问等。将该18个网络会话交互分为只读类型和可读写类型，而后者更占资源。

S-BM衡量两个主要测度：第一个主要是关于网页交互响应时间的服务性能测度;第二个是资源利用，其中包括CPU利用率、储存卡利用率、输入输出操作和网络利用率。

2 S-BM工作量定制

具有普遍适用性的基准需要产生至少一种类型应用程序工作量。S-BM是在基于分析和评测租用者特点的SRM应用中交易的电子商务工作量。

2.1 工作量数据模型

S-BM工作量数据是租用者特有的。它由两方面组成：针对特定租用者的基础数据和商业数据。两者都在不同方面影响工作量，基础数据范围在一定程度上反映了一个特定租用者的生产能力，而商务数据则反映了生产者的订单频率。

2.1.1 特定租用者基础数据

在S-BM中有3个因素影响每个租用者举出数据的范围，这些因素的关系如图1所示[17]。一个制造商可能生产很多不同产品;每个产品由不同类型部件组成;每一个部件又由不同供应商提供;同时，一个部件供给比例的总和为1。

2.1.2 商业数据

在数据产生过程中，提供两种参数按比例放大商业数据：一个是FOO（订单频率），另一个是日增长率。这两个参数反映了订单密度和供应商繁忙度。

除了工作量數据外，仿真浏览器用于给SUT发送HTTP请求，所以其数量是影响工作量的又一重要因素。在S-BM中，可以通过设定不同转移概率矩阵给用户安装交互文件。转移矩阵反映了在SRM应用程序中实际交互的转移概率特征，可以通过分析该应用程序在实际操作中的日志获得。

2.2 工作量定制

在S-BM中，可以用一种可配置方式为特定租用者定制工作量。配置包含基础数据、商业数据、仿真浏览器文件和包含租用者SLA定制信息的xml格式文件。

（1）NUM_PRODUCTS，MAX_SUP_QUA_PER_PART， AVE_SUP_QUA_PER_PART和AVE_PART_QUA_PER_SUP是用来定义基础数据的。因为生产商经常从外包零件起家，所以可以利用这些参数计算作为基础数据指标的部件和供应商数量。

（2）FOO的参数和增长率被用来定义商业数据范围。FOO由租用者繁忙度决定。很显然，越多订单就意味着越繁重的工作量，增长率主要与每日订单增长率有关。

（3）NUM_EB、EB_ROLE 和USER_MODE 被用来定义仿真浏览器文件。NUM_EB、EB_ROLE用于描述有多少不同作用的仿真浏览器在单次测试中形成客户浏览工作量。不同模式有不同读写运算比率，USER_MODE则用于定义浏览器模式。

最后，由于不同租用者可能有不同商业规模和需要不同水平的系统性能，根据租用者的SLA需求生产工作量，同时用MAX_WIRT 和 AVE_WIRT 两个参数给予支持。

2.3 工作量生成

在定制完工作量之后，可以用包含定制信息的xml文件生成工作量数据。工作量生成器首先需要从文件中提取一些信息，如产品数量和限制参数，然后生成记录详细基础信息的表格文件。在此基础上，再生成已经插入到数据库服务器中的商业数据。另外，还要保证这些数据都能用到SRM应用程序里。

仿真生成器用来生成能刺激实体客户行为的仿真浏览器。它被用作多线程程序，而每个线程代表一个浏览器。因此，为了形成工作量，也被用于刺激客户浏览正在进行试验的系统。

3 性能测评

为了得到支持优化部署策略的有用结论，通过评估定制的工作负载生成工具和S-BM综合性能，设计了两组实验。第一个是根据不同规模验证性能变化，第二个是验证度量标准的敏感性。

3.1 不同工作负载下的性能分析

为搜索关于不同工作负载组合下性能的详细信息，根据基本数据（5个产品、10个产品、15个产品、20个产品）和商业数据期限（10天、20天、30天）的不同组合，将其分成12个小组。这些小组实验涵盖4种类型工作量规模，分别是低订单率的小型企业（5个产品和10天）、高订单率的小型企业（5个产品和30天）、低订单率的大型企业（20个产品和10天）以及高订单率的大型企业（20个产品和30天）。

在不同类型组合下，数据规模也不尽相同。事实上，最小数据规模可达400 000行，最大则是4 250 000行。基于一组固定的基础数据和商业数据，逐步增加EB（仿真浏览器）的数量，直到它达到供应商最大数量或者报错“阅读超时”，将此错误视为系统在该配置下达到瓶颈的标志。

实验结果如图2所示。由于空间限制，只用CPU利用率举例说明。

图2中，上左、上右、下左、下右分别有5、10、15、20个产品的基础数据。从实验中得出以下结论：

（1）CPU资源利用率随着经营指数的增长而增长，而应用系统能容纳的仿真浏览器数量则越来越少。

（2）当系统达到瓶颈时会出现一个明显的指标响应时间转折点，该点在不同基础数据规模下不同。

（3）在多数情况下，数据库服务器性能限制了仿真浏览器的最多数量。

3.2 指数灵敏性分析

为评估系统性能在WIRT上基础数据和商业数据的灵敏性，做了两组实验。第一组分析业务数据，第二组分析基础数据。在实验中固定一个因素，然后观察另一个因素的变化。实验结果如图3、图4所示。

从图3、图4中可以看出，业务数据变化导致CPU利用率、内存利用率和TPS变化较大。相反，改变基本数据导致资源利用率变化较小。虽然增加FOO和供应商数量时，平均响应时间都会增加，但是图4中的值远远高于图3。因此，业务数据对系统性能影响较大，基础数据对响应时间影响较大。

<F：＼软件导刊＼上传＼软件导刊2019年第6期＼Image＼辛云龙-3.tif>

图3 峰值数据影响

<F：＼软件导刊＼上传＼软件导刊2019年第6期＼Image＼辛云龙-4.tif>[Average Response Time（ms）]

图4 基础数据影响

4 结语

本文展示了基于SRM应用基准的私人定制方式——一种自动化负载生成器用于从配置文件中制作私人定制的负载。通过两组实验对私人定制负载生成器进行评测，实验结果能够帮助找到用于多租用者应用程序的最优配置策略。在相同资源成本下，通过在共享环境中重新部署小型和大型业务的应用程序，工作负载能力可以提高30%。S-BM是基于私人SRM系统开发的，所以目前不具有普遍性，下一步需通过不断优化，使之具有更好的通用性。

参考文献：

[1] 杨建新. SAAS现状分析与前景展望[J]. 软件导刊，2012，11（1）：1-2.

[2] 郝晓宁. 面向客户定制多租户SaaS应用的Benchmark系统的设计与实现[D]. 济南：山东大学，2014.

[3] 许世网. SAAS的优缺点辨析[EB/OL]. http：//.cn/cio/research/info/htm2007/20070314_245311.asp.

[4] GARCíA D F，GARCíA J. TPC-W E-commerce benchmark evaluation[C]. Computer， 2003： 36-42.

[5] RUBIS.Rice university bidding system[EB/OL]. http：//rubis.ow2.org/.

[6] RUBBOS.Bulletin boardbenchmark[EB/OL].  http：//jmob.objectweb.org/rubbos.html.

[7] CECCHET E，MARGUERITE J，ZWAENEPOEL W. Performance and scalability of EJB applications[J]. SIGPLAN，2002，37： 246-261.

[8] BEITCH A， LIU B， YUNG T， et al. Rain： a workload generation toolkit for cloud computing applications[C]. California：Technical Report UCB/EECS-2010-14， 2010.

[9] DIWAKAR K. A synthetic workload generation technique for stress testing session-based systems[J]. IEEE Transactions on Software Engineering，2006，32（11）：868-882.

[10] HASHEM H N，ERIC R. Architectural contesting： exposing and exploiting temperamental behavior[J].  SIGARCH Computer Architecture News，2007，35（3）： 28-35 .

[11] DIWAKAR K. A Synthetic workload generation technique for stress testing session-based systems[J]. IEEE Transactions on Software Engineering，2006，32（11）：868-882.

[12] RAOUFEHSADAT H， DIWAKAR K， MARTIN F. Arlitt： web workload generation challenges-an empirical investigation[J]. Software-Practice and Experience，2012，42（5）： 629-647.

[13] GUEYOUNG J， KAUSTUBH J， MATTI H， et al. A cost-sensitive adaptation engine for server consolidation of multi-tier applications[C]. Illinois：ACM/IFIP/USENIX 10th International Middleware Conference （Middleware 2009）， 2009.

[14] WIKIPEDIA. Supplier relationship management[EB/OL]. http：//en.wikipedia.org/wiki/Supplier_relationship_management.

[15] SHARI L P. 軟件工程理论与实践（第2版） [M]. 吴丹，译. 北京：清华大学出版社，2003.

[16] STEPHEN R. Scnach面向对象与传统软件工程[M]. 北京：机械工业出版社，2003.

[17] ZEYU D. S-BM： a benchmark suite for multi-tenant supplier relationship management service[C]. Service Systems and Service Management （ICSSSM）， 2013：4-5.

（责任编辑：何 丽）