基于客户端用户行为记录的网站可用性分析工具研究

基于客户端用户行为记录的网站可用性分析工具研究

白文涛 刘正捷 陈军亮

大连海事大学欧盟可用性中国中心 116026

http://usability.dlmu.edu.cn

摘要：如何改善网站的可用性是人们非常关心的问题之一，而改善网站可用性采用可用性工程方法，其核心是以用户为中心的设计方法论（user centered design–UCD）,该方法强调从用户的角度来进行产品的设计开发。为了改善网站的可用性，可用性人员通常需要大量的用户行为数据来分析、发现可用性问题，从而进一步改善网站的可用性。基于这种需求，出现了各种用于自动收集和分析用户行为数据的方法。本文介绍了对网站可用性研究的必要性并给出作者所开发工具的功能，并给利用工具所做的可用性研究的案例。

关键词：可用性工程，辅助工具，用户为中心的设计方法论，用户行为数据收集

A study on web usability analysis tool based on user behavior record on client

Bai WentaoZhengjie Liu JunLiang Zhen

Dalian Maritime UniversityChinese Center ofEU UsabilityNet 116026

ABSTRACT：How to improve the website’s usability is one of the most important issues people care about, and the foundation is based on Usability Engineering that focuses on UCD (user centered design) which emphasizes on the users’ view when we design and develop a product. In order to improve the usability of website, we usually need a lot of user behavior data to analyze and find out the problem of usability, so we can improve the website’s usability . A variety of methods are developed to collect and analyze user behavior data automatically .The purpose of this paper is to introduce that it is necessary to research the web usability and delivery the function of the tool which were developed by author, then a case was given.

KEYWORDS: Usability Engineering, User Centered Design, User Behavior Data Collecting

一、引言

随着Internet的出现及广泛应用，对网站可用性的研究已经受到越来越多的关注。网站可用性的好坏是网站成功与否的关键。因为网站不同于其它商品，在用户没有购买之前已经开始对网站的可用性进行体验了。在产品设计和软件设计中，客户先付钱，后体验可用性；在网站中，用户先体验可用性，后付钱，因此提高网站的可用性显得异常重要。那么如何评价一个网站的可用性呢？其实，对网站的可用性评估是具有一定的“模糊性”，不能仅用一个“好”或“坏”字来描述。网站可用性的“模糊性”主要体现在以下几个方面：

l 缺乏公认的可用性指标。

网站的可用性到底要达到什么程度或好用到什么程度才能被大家认可，到目前为止没有一个明确的结论，也没有一个可用性指标可作为参考，对可用性的评价仍然十分笼统。

l 评价网站的可用性角度不同。

不同国家、不同民族、不同年龄段的人在对网站可用性的认识上会有差异。评估网站可用性往往会有不同的方法，选择那几种方法合适就很值得研究了。

l 基于用户行为的网站可用性评估方法。

基于网站用户行为的网站可用性的评估方法是根据“行为是态度的反映” ^[30]这一行为学原理提出的通过对用户使用网站时的行为进行观测从而对用户在使用网站时的效率、有效性和满意度进行评估的方法。由于对网站的可用性评估是一个复杂的过程。评估中包含测试用户、网络设备、可用性专家及网站本身的多样性等。影响网站可用性的因素众多，而且大部分可用性指标概念模糊，难以进行精确的定量分析与评价。众所周知，要评价一件由单因素确定的事物是比较容易的，但如果涉及的因素多了，就会出现从这个因素出发对它作出一种评价，而从另一种因素出发又可以对它作出另一个评价的可能。因此，对于网站可用性的评估必须综合各方面因素，避免仅从一个因素进行评估而带来的片面性评估结果。而用户在浏览网站的各种各样的用户行为恰恰从不同角度反映了用户所浏览网站的可用性，因此以用户为中心，将评估一个网站的可用性转向研究浏览这个网站的用户行为上来，将这些用户的浏览行以自动记录的方式记录下来，在必要的时候提供给可用性专家使用。这就是基于客户端用户行为记录的网站可用性的评估方法。

二、系统功能简要概述

本该作者从工业界对可用性的实际需求和当前国内可用性专家缺乏的现状考虑，利用计算机在存储和计算方面的优势，在Windows平台下设计开发了可以辅助进行可用性测试分析的工具――UBAT（User Behavior Analysis Tool）。UBAT工具在开发过程中所采用的关键技术包括：内存缓冲池技术和钩子技术。内存缓冲池技术可以加速图形图象的捕捉，钩子技术可以捕获鼠标的轨迹。利用这两项关键技术，UBAT工具可以采集关于网站用户行为的背景流、鼠标流数据。通过FTP 服务器可以将捕获的数据流通过网络传输，因此UBAT并可以进行远程的用户测试。另外，UABT中提供了即时交流工具，其功能类似于QQ，利用这一功能我们可以和用户进行在线交流，这一过程不但可以在用户完成任务的过程中提供必要的帮助，而且也可以用来搜集主观数据。适当的利用它我们可以完成如：远程焦点小组，远程测试问卷，远程结构化及非结构化访谈等。在UBAT服务器端为可用性专家提供了如下功能：

1．在启动电脑后系统提示收到了新的用户行为数据。

2．可用性专家使用UBAT工具打开一用户发过来的用户行为数据。可以首先采用UBAT快速播放方式对用户的行为数据进行整体观察得到初步印象，接着可以对测试用户的行为数据以正常的速度观察。在某些可能存在可用性问题的地方，可以利用UBAT工具重复播放这一区间的行为回放或慢速播放用户行为数据来仔细观察用户完成测试任务的过程，以确认在这一区间是否真的存在可用性问题。

3．对存在可用性问题的区间进行标注说明和分类，以方便以后查看和比较。可以针对具体存在的可用性问题为这一区间起名字并依据可用性问题的类别为其归类。这样在以后的查看过程中可以就某一问题或某一类别问题进行查看或比较。

<shapetype id="_x0000_t75" stroked="f" filled="f" path="m@4@5l@4@11@9@11@9@5xe" o:preferrelative="t" o:spt="75" coordsize="21600,21600"><stroke joinstyle="miter"></stroke><formulas><f eqn="if lineDrawn pixelLineWidth 0"></f><f eqn="sum @0 1 0"></f><f eqn="sum 0 0 @1"></f><f eqn="prod @2 1 2"></f><f eqn="prod @3 21600 pixelWidth"></f><f eqn="prod @3 21600 pixelHeight"></f><f eqn="sum @0 0 1"></f><f eqn="prod @6 1 2"></f><f eqn="prod @7 21600 pixelWidth"></f><f eqn="sum @8 21600 0"></f><f eqn="prod @7 21600 pixelHeight"></f><f eqn="sum @10 21600 0"></f></formulas><path o:connecttype="rect" gradientshapeok="t" o:extrusionok="f"></path><lock aspectratio="t" v:ext="edit"></lock></shapetype><shape id="_x0000_i1025" style="WIDTH: 257.25pt; HEIGHT: 258.75pt" filled="t" type="#_x0000_t75"><fill type="frame" color2="black"></fill><imagedata o:title="" src="file:///C:/DOCUME~1/bwt/LOCALS~1/Temp/msohtml1/01/clip_image001.jpg"></imagedata></shape>

图 4-6 UBAT工具的服务器端

图4.9客户端界面

三、试验性应用案例

在这里我们选取了国内最有影响力的C2C电子商务网站――淘宝（www.taobao.com）作为我们这次的分析对象，进行了UBAT工具的试验性应用。在应用过程中，我们不断地发现工具中存在的问题，并及时进行了修改和完善。以期待利用工具能发现更多，更隐蔽的可用性问题。实践表明开发的工具是有效的，能够发现一些通过传统的可用性测试方法所不能发现的可用性问题。并且通过工具可以保存用户在访问网站时的行为数据，可以随时反复地观看用户整个的测试过程。当然UBAT工具中也存在许多不足之处，工具只是在某些方面达到了预期的目的，距离成为一个成熟的产品并且达到实用的阶段还有一定的距离，需要在以后的工作中做进一步探索，逐渐使其达到完善并实用的程度。

3.1测试用户选取

根据CNNIC（中国互联网络信息中心）发布的2005年《中国互联网热点调查报告》^[37]我们在选择测试用户上分别从性别、专业、职务，地域、上网时间、有无网上购物经历等几个方面综合考虑，总共选取了30位用户进行了测试。其中，工作人员10名，在校大学生或硕士生20名。性别方面是男性多于女性，在地域方面上我们也参考了CNNIC的调查结果，南方发达地区多于其它不发达地区。总之在用户的筛选上我们尽量让总体比例与CNNIC的调查结果的比例保持一致，以确保调查结果的可信性。

3.2 测试任务设计

根据CNNIC（中国互联网络信息中心）发布的2004年《中国互联网热点调查报告》和《中国互联网络发展状况统计报告》^[37-38]，我们得到了如下的信息：

将近60％的用户成功完成第一次购物后，其购物频率是每月不低于一次；成为经常性用户（购物频率高于每周一次）的可能性非常大。但用户如果第一次网上购物失败也很有可能使用户终身不再从事网上购物。因此研究用户第一次网上购物的经历是非常重要且有意义的。如果网站上为他们提供的一切可以使第一次网上购物的经历是愉快的，成功的，那么他们有60%的机会在一个月之内再次光临网站。如果他们的购物经历是苦涩的，那么他们也有可能从此放弃网上购物或转向其它购物站点。既然第一次的购物经历如此重要，我们来利用UBAT工具研究一下用户第一次网上购物可能遇到的可用性问题。

这里设定测试任务是“让这些初次来到淘宝网的测试用户完成一次购买指定商品――IBM R51任意型号的笔记本电脑，直到他们认为已经购买成功时为止”。这样的测试任务我们既可以考查用户是怎样搜索，挑选商品的也可以考查用户购买商品的全过程。在这个过程中我们完全可以利用UBAT工具发现网站中存在的可用性问题及网站为这些新手用户提供的消除他们购物顾虑的场景和提示是否为用户发现，并起到消除他们顾虑的作用。当然我们也提醒用户：如果愿意，他们也可以随时终断购买活动。

3.3 测试过程

整个测试过程，分别从测试用户和可用性专家角度作叙述。

用户测试过程如下：

1．当用户得知有关招聘测试用户的消息后，到相应的网站填写有关用户信息的报名表并提交。

2．当用户收到确认EMAIL，表明该用户已经通过筛选可以参加测试。

3．在邮件中用户被告知，本次的测试任务是：在指定的国内C2C电子商务网站(www.taobao.com)上购买IBM R51任意型号的手提电脑，直到认为已经购买成功时为止”。如果愿意，也可以随时终断购买活动。

4．用户经过仔细学习使用手册，便按照使用手册上的说明输入了用户名和密码，点击UBAT客户端的“开始任务”。UBAT客户端程序已经最小化到系统托盘中了。此时用户可以打开IE输入淘宝网的网址，开始淘宝网上的初次购物体验。

5．当用户认为已经完成了测试任务，就可以单击托盘中的X型的小图标，弹出UBAT客户端，点击“停止测试任务”按键。结束了本次测试任务。

可用性专家观察测试用户完成任务过程如下：

1．可用性专家打开电脑，系统提示收到了几个新的用户行为数据。

2．可用性专家使用UBAT工具打开一用户发过来的用户行为数据。他首先采用UBAT快速播放方式对用户的行为数据进行整体观察得到初步印象，接着又对测试用户的行为数据以正常的速度观察。在某些可能存在可用性问题的地方，他利用UBAT工具重复播放这一区间的行为回放或慢速播放用户行为数据来仔细观察用户完成测试任务的过程，以确认在这一区间是否真的存在可用性问题。

3．对存在可用性问题的区间进行标注说明和分类，以方便以后查看和比较。可以针对具体存在的可用性问题为这一区间起名字并依据可用性问题的类别为其归类。这样在以后的查看过程中可以就某一问题或某一类别问题进行查看或比较。

3.4 测试结果

下面列出的几条都是可用性专家在观察测试用户完成测试任务过程的描述。这里只是定性的描述测试用户在完成测试任务过程中所遇到的可用性问题，以考查工具的有效性，并没有严格定量分析整个测试任务。

1．用户先打开IE，在地址栏中输入淘宝网的网址。点击回车打开了淘宝网，80%用户对网站的观察是从左上角开始的。因为在淘宝网左上方是“搜索宝贝”项，在“搜索宝贝”的右面文本框中这80%的用户一进入网站就在这里单击了鼠标。(其实用户完全可以在这个文本框中输入要搜索的物品名称) 可能是出于安全考虑或是对“宝贝”一词的不理解或是被页面上其他五颜六色的。内容所吸引，90%的用户滑动鼠标上滚动条对网页进行了一段时间的浏览。然后相对较少的用户又回到“搜索宝贝”处进行搜索，而80%的用户选择了“宝贝类目”中的“电脑—笔记本”选项进入了下一页面。

2．在页面中左上方的“搜索宝贝”的文本框中用户输入了“IBM R51”并点击搜索。这时网页上列出来自不同商家的IBM R51各种型号的笔记本。用户选择了一款价格为“一 口 价：6999.00元”的IBM　R51笔记本（期间用户在“一口价”上面单击了若干次鼠标，显然想探求对“一口价”这一术语的解释），用户无奈，最后点击了图片，也点击图片旁边的文字。这时电脑打开了两个网页。（其实这两个页面的内容是完全一致的，都是关于这款电脑的详细信息。）

3．用户仔细查看了两个页面，最后关闭了其中的一页。在打开的页面中点击了页面左下角的“宝贝详情”。但页面没有任何变化。(其实在点击“宝贝详情”后页面已经在看不到的页面下方列出了商品的详细信息和技术参数) 用户又点击了它旁边的“其他信息”，网页同样没有变化。（其实在页面下方看不到的地方网页内容仍然有相应的变化）。此时用户可能变得焦急起来，因为他又用极快的速度点击了接下来的“出价记录”和“留言簿”。当然每次点击页面的下方都有相应的变化。但这种变化只有在滑动鼠标滚动条才能发现。而滚动条在页面的右边，当时用户只会注意页面下方的变化，往往忽略了页面最右边滚动条长度的变化。此时网站为用户提供的消除用户购买顾虑的“商品详细”没有被用户看到。

4．带着顾虑，用户点击了“立刻购买”按键。（毕竟这是一次用户测试，否则有顾虑的用户是不会再继续购买商品的）进入到的下一页是用户登录界面。用户在这一页面上停留好长一段时间。他们对出现在这一页面上的术语：支付宝、淘友等术语不是很理解并试图利用鼠标找到答案。因为他们用鼠标在相应术语的地方点击了好几次，但在这个页面上并没有为这些术语提供相应的连接。最后他们都无可奈何的点击了免费注册。再填写相应信息后从邮箱里面收到一封关于淘宝发送来确认信。点击确认信上的提示在浏览器中打开了一个新的页面。提示用户注册成功了。并且在这个页面上提供了到达下列页面的链接（未详）：

1) 马上登录。这一页面是提示用户注册成功了。很多其他站点都是在用户注册成功后默认登录网站。其实既然用户已经收到确认信了就没有必要让用户再登录一次。

2) 查询积分页面。用户刚刚注册即使有积分也没有必要将这个选项放在页面最显眼的位置上。何况对于新登录的新手用户来说查询积分不是很重要。

当然这个页面还有一些其他的链接，这里就不赘述了。这个页面提供的最为重要的链接在这个页面的最下方：“下面是您曾经浏览过的宝贝，再去看看”，初次访问用户是经过一段时间的浏览包括对商品“详细信息”的浏览才决定注册的，因此注册成功后应立刻返回到用户点击“立刻购买”的商品页面。但网站并未提供此页面。而是将这一重要的链接放在页面的最底部等待用户点击。此时，如果在用户浏览器上方的组件过多的话很容易将这一行内容挡住而使用户忽略了最重要的信息。

在这次测试中100%用户点击这个链接来到了商品“详细信息”页面，用户必须再次点击“立刻购买”才能进入购买页面。(第一次购物至少要点击两次“立刻购买”)

5．用户还要在接下来的页面中输入更为详细的信息。注册时已经输入了一些信息，这次要输入的信息，包括姓名、手机、固定电话、联系地址、检验码、收货地址、收货人姓名、收货人固定电话、收货人手机，还要选择省份和城市。多数用户在填写上面信息时忘记填写收货人的姓名了。结果系统仍然停留在这个页面上，只是在收货人姓名文本框的上一行上用很小的字提示“请填写 收货人姓名”用户们找了好一会才发现这个提示。在填写好收货人姓名后系统又提示“检验代码不正确”。(因为每刷新一次，这个检验码都要重新填写一次) 当用户输入正确的检验码后系统又提示要选择省份。因为系统每刷新一次省份的下拉框又被复原了。用户选择了省份又没注意检验码，经过几次的尝试后，80%的用户放弃了购物。（其实在这个页面上要用户注意的是每次如果有一项漏的信息造成系统提示，用户都要同时修改以上三项，这样用户才能修改成功。而网站方面若知道这个问题可以不费很大力气就能修正）

3.5 结果分析

网站中确实存在的一些一目了然的可用性问题，这里就不再赘述了。但利用UBAT工具我们也发现了一些普通测试方法难以发现的可用性问题。因为UBAT提供了优秀的快放、慢放、自定义速度播放、定义行为区间重复播放等功能。这些功能帮助可用性专家仔细重复地观察用户完成测试任务时的行为数据。这不但有利于发现可用性问题，还有利于帮助可用性专家确认不太确定的可用性问题。限于篇幅仅就其中比较典型的问题介绍如下：

可用性问题1：在网站上购买商品的前提是需要成为网站的注册用户，新手用户在查看了商品信息并点击购买后，打开的是用户登录和注册网页，网站并没有提示用户需先注册才能购买，这样造成了用户的迷惑；当用户注册完成时，系统提供了自动登录的功能，但用户之前选中的并点击购买的商品页面已经没有了。接下来展示给他们的是网站的首页。他们需重新寻找那件商品并再次点击“我要购买”。

解决办法：不要让用户点击两次“我要购买”。 网站的注册之所以在用户点击“我要购买”后给出，我想一方面他们担心在用户打开网站首页即要求用户注册会影响网站的访问率。这也是正确的，那么就要在用户注册后多为用户考虑一些，让用户填写好注册信息后就可以直接到达用户选择好商品的那个页面。因为用户毕竟已经点击过“我要购买”了。

可用性问题2：打开淘宝的商品“宝贝详情”页面，在没有拉动滚动条拖动屏幕之前，其屏幕的下方是一块空白，在这小块空白下面是为用户提供的此商品更为详尽的信息。但用户必须拉动滚动条才能看见。而某些用户认为屏幕下方没有其他信息，他们误以为网站没有为其提供足够的商品信息，而最终放弃购物。前几天的再次测试过程中我们发现网站已在此方面进行了相应的改进，但在部分页面上还是存在这样的问题。

解决办法：可以将这块空白去掉。其实在接下来的研究中我也给出了用户视线的规律，用户视线总是从页面的左边开始然后是页面的下边，很少注意到页面的右边。所以即使右边有滚动条，用户也很容易忽略的。

可用性问题3：用户在注册过程中要输入较为详细的信息，包括姓名、手机、固定电话、联系地址、检验码、收货地址、收货人姓名、收货人固定电话、收货人手机，还要选择省份和城市。而当用户在填写上面信息时忘记填写收货人的姓名或收货人地址时，系统会停留在这个页面上，给用户的假象是系统没有反应。其实系统只是在收货人姓名或地址的文本框上一行用很小的字提示“请填写 收货人姓名或地址”。好多用户没看到这个提示。即使一些用户找了好一会最后发现这个提示。接下的问题是：在填写好收货人姓名后系统又会提示“检验代码不正确”。(因为每刷新一次，这个检验码都要重新填写一次)。当用户输入正确的检验码后系统又提示要选择省份。因为系统每刷新一次省份的下拉框又被复原了。这样用户每填写一处有错误的话都要同时修改三项，而往往会给用户怎样填写也不会填写正确的错觉。最终这些兴致勃勃的用户在经历几次失败后放弃了网上购物的念头。

解决办法：注册过程应该尽量简单。毕竟多数用户要把商品邮给自己，少数用户希望将自己购买的商品作为礼物邮给他人。因此网站不应该让每一个用户都填写邮寄地址，在用户没有填写时，应该默认用户的地址就是商品邮寄地址。这样即可以减少用户负担也可以加快购物的速度，商家何乐而不为呢？

3.6 结论

1．目前中国的C2C电子商务网站的可用性水平普遍偏低，存在着很大的改进空间；多数用户在完成第一次购物后普遍没有愉悦感觉。用户的心理操作行为模式与网站提供的操作行为模式相距甚远。

2．绝大多数的用户都不能够在网站上完成任务，网站为用户提供的消除购物顾虑的信息也没有被用户察觉到，即使有少量用户完成了购物任务，但其准确率、完整性和用户的满意程度都不高，而出错次数和帮助次数普遍很高，完成任务时间差异性很大。

3．网站的搜索界面和导航条的使用频率要比其他的功能频繁，其好坏程度会直接影响到用户的购物体验，但网站往往并没有给用户提供清晰的、系统化的网站结构，也没有提供很好的分类、导航和搜索机制，造成站内迷路。

四、结论

客户端用户行为数据的收集对于改善网站的可用性是至关重要的，它是建立在以用户为中心的方法论基础之上，注重于从用户的角度看问题。通过对自动收集和分析用户行为数据的各种方法进行研究，并以此为基础来实现一些工具，可以非常有助于进一步改善网站的可用性，使得对大量用户的行为进行研究成为可能，UBAT工具就是一个很好的例子。利用UBAT工具不但可以获得传统用户测试方法所到用户行为数据，而且突破了传统用户测试时可用性专家和测试用户必须同时同地进行测试的限制。相信随着技术的不断发展和自动收集用户行为数据方法的进一步深入研究，将能够收集到更多的用户行为数据，而且所获得的数据的准确性也会越来越高，使得建设的网站更加符合用户的需要，以保障用户与网站之间沟通的顺畅，切实可靠的提高网站的可用性，使更多的网站用户受益。

致谢：本文工作得到欧盟第五框架研发计划和国家中欧科技合作计划（IST-1999-29067）资助。

参考文献：

[1].Jacob Nielsen, Usability Engineering, Academic Press, 1993.

[2].http://www.51webdesign.com/design-rhdzsyxwz.htm

[3].What does getting WET (Web Event-logging Tool) Mean for Web Usability?, http://zing.ncsl.nist.gov/ hfweb/proceedings/etgen-cantor/

[4].Click Technologies pc, ClickStream Reporting,

[5].Click Technologies pc, Technical White Paper, 2001.2.

[6].Click Tracks Analyzer Manual,ClickTracs,2001-2002.

[7].O. Richardson, Gathering accurate client information from World Wide Web sites, Interacting with Computers 12 (2000) 615–622

[8].Laurie Kantner ,& Stephanie Rosenbaum, Usability Studies of WWWSites:Heuristic,Evaluation vs. Laboratory Testing, Association for Computing Machinery, Inc., 1997.

[9].Tec-Ed, Inc ,Assessing Web Site Usability from Server Log Files White Paper，December 1999

作者简介：

姓名：白文涛

性别：男

出生年月：1978年7月22号

学校：大连海事大学

专业：计算机应用技术

现状：2003级硕士

导师：刘正捷教授

研究方向：人机交互与可用性工程

邮政编码：116026

E-mail:[e-mail]

通讯地址：大连海事大学 11舍 404房间