线下的评测方法从统计上有一定的指导意义，能从一定程度上区分模型的好坏，但要真正验证算法模型的好坏，还需要接受真实的流量来验证。 Q游网qqaiqin

三．线上测试 此文来自qqaiqin.com

为了真实验证一个算法模型的好坏，需要有一个系统能提供真实的流量来检验。淘宝搜索实现的BTS（Bucket Testing System）系统就是这样的一个环境，在用户搜索时，由搜索系统根据一定的策略来自动决定用户的分组号（Bucket id），保证自动抽取导入不同分组的流量具有可对比性，然后让不同分组的用户看到的不同算法模型提供的结果。用户在不同模型下的行为将被记录下来，这些行为数据通过数据分析形成一系列指标，而通过这些指标的比较，最后就形成了不同模型之间孰优孰劣的结论。只要分组的流量达到一定的程度，数据指标从统计意义上就具有可比性。

不同的BTS系统会关注不同的数据指标，在淘宝搜索，有一些重要的指标是很多算法模型测试的时候关注的： Q游网qqaiqin

访问UV成交转化率：来淘宝搜索的UV，最终通过搜索结果成交的用户占比。

IPV-UV转化率：来淘宝搜索的UV，有多少比例的用户点击了搜索结果

Q游网qqaiqin

CTR：搜索产生的点击占搜索产生的PV的比例

客单价：每个成交用户在淘宝搜索上产生成交的平均价格 此文来自qqaiqin.com

基尼系数：基尼系数是一个经济学名词，考量社会财富的集中度；如果社会财富集中到很少一部分富人手中的时候，基尼系数就会增大，社会的稳定性和可持续发展性就会出现问题；淘宝搜索借用了这个概念来衡量搜索带给卖家的PV展示，和点击的集中度，在保证用户体验的前提下，给更多的优质或小小而美的卖家展示的机会。

Q游网qqaiqin

大部分时候我们都有好几个模型和功能在线上测试，我们用BTS的方式来观察测试的情况，如果提升稳定就逐渐开放给所有用户，如果没有提升，我们也能从中获得经验帮助我们更好的理解用户。 Q游网qqaiqin

以上相关的更多内容请点击“”查看，以上题目的答案为网上收集整理仅供参考，难免有错误，还请自行斟酌，觉得好请分享给您的好朋友们！

• 『 淘宝推出“极速退款”服务 ！
• 『 2015最新一轮淘宝规则调整!
• 『 《淘宝禁售商品管理规范》及其实施细则
• 『 淘宝规则对描述不符的认定和处罚措施!!
• 『 “淘宝保险平台”系统优化升级公告
• 『 淘宝店标、店名、店铺公告及个人介绍设
• 『 淘宝违规扣分什么时候清零?
• 『 2015年淘宝（天猫）虚假交易严重违规处
• 『 淘宝一战成名是什么？
• 『 新增淘宝网出售假冒商品规则定义意见征
• 『 《淘宝拍卖业务管理规范》变更意见征集
• 『 淘宝网评价新规则!
• 『 淘宝网出售假冒商品认定和处罚规则与实
• 『 《淘宝规则》规定的哪些违规行为涉及的
• 『 淘宝会对哪些类型的订单采取冻结资金等
• 『 淘宝冻结资金全解析,淘宝为什么冻结我
• 『 淘宝规则处罚仅仅只是其中一种手段!手
• 『 淘宝网出售假冒商品处理措施表!
• 『 淘宝网各项违规扣分汇总图表!
• 『 淘宝对违规扣分处罚节点一览表!
• 『 淘宝目前已有多个违规类型采用了“首犯
• 『 关于淘宝网服饰配件行业优化商品发布要
• 『 淘宝年货节商品报名基准资质!
• 『 淘宝年货节商家准入基准规则!
• 『 淘宝网营销活动规则,标准全文..
• 『 如何取消VIP工具升级之前所设置的VIP宝
• 『 卖家如何设置支持淘宝VIP价？
• 『 天猫动真格 刷单将遭30天搜索降权处罚
• 『 淘宝“7天无理由退货”和“退货承诺”
• 『 2014年度淘宝网违规扣分将在2014年12月
• 『 《淘宝规则》市场管理情形及实施细则调
• 『 11月11日-淘宝嘉年华期间全网交易规则
• 『 淘宝规则详细介绍,淘宝规则网站地址,淘
• 『 低价商品评价、销量计算逻辑调整公告
• 『 淘宝网出售假冒商品认定和处罚规则与实
• 『 淘宝网营销活动规则!
• 『 新增《淘宝禁售商品管理规范》及其实施
• 『 新增《淘宝网生鲜类预售商品发布管理公
• 『 《淘宝禁售商品管理规范》及其实施细则
• 『 淘宝橱窗推荐新规试行 金牌卖家获益多!
• 『 2014年6月淘宝对于虚假交易新规更新!
• 『 【万能的淘宝】世界杯饿急送,活动规则
• 『 淘宝拍卖保证金归属变更生效通知
• 『 淘宝新增购买刀具实名制规则生效通知
• 『 淘宝新增《淘点点平台及商户管理规范》
• 『 卖家刻意规避淘宝监管发生虚假交易行为
• 『 搜索降权时间滚动计算”中的“降权时间
• 『 在淘宝网购物,签收问题的争议处理!
• 『 2014年淘宝新规则,读读更能理解淘宝新