测量增量性:对救援的控制实验!

 闪耀 在我们的处置和新的媒体频道中,每天(!),您如何优先考虑您的努力?

你如何弄清楚哪些渠道投资更多,哪些杀戮?

如果您在多次上花费更多的资金达到完全相同的当前或潜在客户,您如何弄明白?

你如何克服所做的挫败感 归因建模和 realizing that it is not even remotely the solution to your challenge of using multiple media channels?

哦,凶手问题…如果您投资多个渠道,每个频道都会增加多少个增量?

智能营销人员经常向自己询问这些问题。主要是因为我们不't live in a 让'在三个频道上购买Prime Time电视广告,达到了98%的观众 world any more.

我们必须做 搜索引擎优化。我们必须 do 电子邮件营销。我们必须 do 付费搜索。我们必须 have a robust Affiliate network. We have to do 社交媒体。我们必须 do location-based advertising to squarefour people. We can't forget 移动广告。我们必须…列表几乎是无穷无尽的。哦,如果你没有注意到…现实世界仍然存在。电视和收音机和打印和… Oh my!

现实是我们可以'做所有这些事情。

智能营销人员努力确保其数字营销和广告努力集中在最有影响力的渠道组合中。也许它是搜索,电子邮件和facebook。也许它是会员和付费搜索。也许是电视和推特和报纸。也许它是其他五件事。

一个人如何搞清楚?

受控实验!

什么'那个?这是:您了解目前在播放中的所有环境变量,您仔细选择了多组"like type"受试者,您将它们暴露于不同的媒体组合,衡量结果的差异,证明/反驳您的假设(现在做Facebook !!!),要求加薪。

这很简单。

好的,它并不简单。

你需要患有深刻技能的人 科学的方法, 实验设计 , 和 统计分析。您需要支持您组织的顶级和底部和中间(以及您的代理商!)。您需要了解播放中的所有环境变量(在任何情况下的难以在任何情况下),而不仅仅是在贵公司的背景下,还有与您的竞争对手和生态系统相关。

但是,如果您可以访问某些或全部(或者可以雇用良好的外部顾问),那么您的奖励将非常接近进入天堂。营销天堂。

为了使受控实验的案例,我想与你分享一个简单,真实的世界例我参与其中。

我的明确议程是激发对甚至简单控制实验的价值的理解(可能只需要上面提到的一些马力)。

我的秘密议程是通过一个简单的例子来照亮这种令人愉快的方法的力量,让您投资于什么'S需要从良好迈向壮观。

准备好?

设置。

这是一个多渠道示例。该公司在营销时真正拥有投资组合策略。我们将简化榜样,使其看起来只有两件事。他们邮寄目录,他们发送电子邮件。两者的目的也很简单:让人们转换在线(网站)或离线(呼叫中心)。

问题是,如果他们都这样做了?他们应该比其他人更爱吗?这个数字是在这里留下的还是工作了150年的事情– catalogs –仍然有效的东西("互联网是一个fad!")?做电子邮件的增量值是多少?

要回答这个问题,该公司将其客户名单(目录和电子邮件)拿走并确定了像型客户。与共享某些常见属性的客户一样类型。为您的业务,这可能是一名顾客5年(或5个月)或仅订购妇女的人'■内衣或生活在州的内衣或那些从W或每年1多次或仅在木星出生的人或人的人或人的人…(这是实验设计的派上方便:)。

然后他们孤立国家地区(按城市,拉链,州,DMA挑选您的峰)转变为试验和控制区域。

测试区域的人们将参加我们的假设测试。对于控制区域的人,没有任何改变。

指出,指出,我纯粹纯粹将数据保持简单,以保持对故事的沟通。我们'LL衡量收入,利润(我们赚取销售额较少的钱),费用(竞选成本),净(底线冲击)。

这些数字中缺少的是成本…。好吧。人民。贵公司中的一条小军队运行电视广播。更大的军队是目录发送机器。孤独的实习生是您的电子邮件竞选人员成本。五个五个团队是您的付费搜索武士。如果您这样做,如果可以,也可以包含该费用。

足够的谈话,让's play ball!

实验和结果。

这里'S试验控制版的结果数据。这群客户发送了目录和电子邮件。他们没有改变什么–这个群体完全按照过去对待。

营销盈利分析

如果公司做了两种东西,收入是12美元。

因为收入通常是了解对公司影响的误导性方式'S底线,大多数聪明的人都喜欢净冲击(取出货物成本的结果,竞选费用等)。

在这种情况下,这相当于2.59美元的底线影响。

[如果您想了解底线的重点,尤其是净利润可以改变你的生活,而且我的意思是,看出,请看这个视频: 敏捷,结果驱动,数字广告。零件二,三,摇滚'青少年和成人(忍者!)。]

这里'S实验中变异#1的数据…这组客户的型号只发送了目录–没有电子邮件。营销消息传递和时序以及用于该组的相关性的所有其他信号与对照组完全相同。

营销盈利分析仅限目录

与对照组相比,收入从12美元到10美元。公司费用稍微下降了一点点(毕竟电子邮件竞选不是免费的)。

净冲击从2.59美元到2.00美元。

收入减少17%,对底线的23%的负净冲击。

这是否有助于您了解在实验的这种变体中缺少的活动提供的增量(在这种情况下电子邮件)?完全正确!

没有政治。没有电子邮件的VP与目录EGOS和涉及意见的VS VP。不 你正在尝试用我的预算混乱 吐在你的脸上。不 但这不是大会上的Guru X所说的 或者 但这不是Twitter上的人认为。都不是。只是数据。

那是多么甜蜜?

这里 are the results of variation #2…这个小组刚收到了电子邮件。暂停了杀害树木,填充循环箱,并突破邮寄载体的背部。 :)

再次,我可以'这是足够的压力,所有其他都是平等的。

营销盈利分析仅限电子邮件

与我们的对照组相比,收入减少了29%。我的天啊!

但是,一个更大的omg即将到来:公司底线的净冲击是一个标准2%!我的天啊!!

因此,通过将目录活动与电子邮件广告系列相结合的增量价值在本公司底线增加了2%。

不适用于地球上的每家公司。甚至不是你所做的所有竞选活动。但是对于这个广告系列和这些类型的客户,您可以自信地说:"是的,收入下降,如果你关心的话,哦,心爱的河马,然后让's发送更多目录。但至少现在您知道净增量率为我们的底线。"

如果您的河马是聪明的,并且在我的经验中,许多河马都是聪明而且良好的意义,但是,棚车问你:"这是2%($ 0.05)足以涵盖我们所雇用的每个人的薪水,养老金,健康益处?"

受控实验还允许我们(分析忍者)做一些颠覆性的工作。这个问题的问题是:w帽子是做任何营销的增量吗?如果我们什么都不做,我们会发生什么,我们退休了我们所有的营销人员?公司会下来吗?

现在很少见到那些问题的问题。但它太诱人了不要使用这种方法来了解答案可能的意义。

因此,对于变体#3,没有将目录或电子邮件发送给测试组中的客户。以下是结果…

营销盈利分析没有电子邮件没有目录

It turns out if you completely stop marketing, and你是一家已成熟的公司 , the impact is not that your revenue goes to zero! :)

这种变异的收入下降了58%(非常大)。对底线的影响降低了42%。两者都不好,但不是零。

所以现在你有一些营销中所有人的增量(他们的工资,养老金,费用等)的感觉,以及你必须计算的是少于或大于1.09(净影响的损失)。

只是一个严肃地说话,消除目录和电子邮件(以及所有营销)可能不会立即制作公司破产。但这只是在该实验的范围内的结果。很容易想象如何随着时间的推移变得更糟。好的是你也可以测试!

好主我喜欢这个东西!

来自该控制实验的课程。

可以计算添加或删除营销策略的增量性。

可以回去和使用这种增量,为企业制定坚实,长期的新决策(并且不要继续做你的事业,直到您的业务破产)。

可以采取政治,争吵,背部刺伤和所有荒谬的东西。好吧也许不是全部,而是很多。

可以确定为您已经通过SEO排名第一的品牌术语的付费搜索活动的值。有可能理解您是否应该在Facebook上投资。有可能通过雅虎,了解支持您的电视节目的程度!显示活动。可以特别钉下添加到向您的搜索广告系列添加YouTube的底线的每个增量美元,然后添加无线电广告系列,然后添加杂志广告,然后添加Twitter。并且沿着这一链条可以准确地理解你'达到了回报的边缘递减!

重要提示:你不应该采取的课程是目录唐'工作。他们可能为你工作,他们可能不是。所有你应该带走的是上面概述的可能性。

结束思想。

这里 are some important bits of context, and a few more lessons I'已经学会了这一点…

*您上面看到的结果是原始终端结果。该团队做了正常建模,以确保结果是 统计学意义 (大量样本集,每个变体中的足够数量的转换)。

*获得精确的副本(如类型)客户集并不总是很容易。总有一些超出你控制的东西。尽可能做到最好。

*尽可能努力地工作,然后是一些,确保有很少的"disturbances"在您的测试和控制组中。在实验的中间'T开始新的付费搜索活动或像疯狂的鸭子一样推特,以同一套客户。大声喊叫,直到整个公司知道你所做的事情(并乞求他们的合作)。

* 没有答案是明确的,所以立即行动结果。

*在同一精神中,世界上最好的公司都知道您处于持续的测试模式。有这么多因素可能会影响您的结果。季节性,转移消费者行为,竞争性景观变化,破坏性产品介绍,新技术,非法事物的合法化,更多的事情。

所以你测试,学习,冲洗,重复,变得太棒了。

如果您想了解有关受控实验的更多信息,并查看更多示例和案例研究,请跳转到第7章和副本中的第7章和页码205 Web Analytics 2.0...

奖金: Here'是我最喜欢的文章之一…从2007的一路才能为我们所有人充满精辟的宝贵课程,无论我们的领域如何: 41永恒方式搞砸直接营销

奖金2: Google Analytics具有一系列名为多通道漏斗的令人愉快的报告集。它们非常擅长展示通过多个媒体频道提供了多少结果(例如搜索+ Facebook + Display广告系列VS搜索)。他们也非常善于告诉您这些渠道暴露于该人的命令。重要的是要知道这是发生的,多少。 Mutichannel漏斗报告赢得了'T回答本报告顶部的问题。它可能会告诉你回答它们的紧急程度(参见此视频,最小21开始: Google Analytics访问变更)。即使您在市场上使用其他专用工具"attribution modeling" you still won'获得优化频道所需的精确答案。你唯一的路径?受控实验。再次备份并再次阅读这篇文章。 :)

好吧,现在轮到你了。

控制实验是您的营销和分析组合的一部分吗?如果是,你会分享一个,也许是你最喜欢的吗?如果不是,在贵公司采用它们是什么障碍?阅读这篇文章可能是实验最大的缺点吗?你觉得令人兴奋的是什么?

请通过评论分享您的反馈,兴奋(或缺乏),生命课程。

谢谢。

评论

  1. 1
    荧光醇 says

    一篇伟大而鼓舞人心的文章avinash!

    您能分享一些想法如何设置在线媒体混合建模的实验?

    I'在你的书中看了你写的'Web Analytics 2.0', however I'm努力如何设置它。特别是因为我们'在没有了解访客本身的情况下,谈论游客。

    • 2

      荧光水: 我希望我可以提供关于设置测试的简洁答案,它很复杂。在进行测试时,我建议在这篇文章中有点简单,它仍然需要在实验等设计中的一定程度的专业知识。

      帖子中有链接您可以单击读取。我还会建议如果你不'T有专业知识,然后从外面得到它。

      快速提示:在线A / B测试和多变量实验之间存在巨大差异。您希望有专业知识专门专门专门。一世've很多运气与离线直接营销人员合作,他们一直在亚当和夏娃的时候这样做。

      arinash。

  2. 3
    尼尔森元 says

    我的帖子–查看GA如何无缝地处理销售渠道的归属,即您与客户的所有触摸点。

    http://analytics.blogspot.com/2011/08/introducing-multi-channel-funnels.html

    伟大的帖子。

  3. 4

    你是明显的,你是一个很棒的帖子。

    说得好-"没有答案是明确的,所以立即行动结果。"

  4. 5

    营销人员的大帖子和有点可怕:-)

    • 6

      Billig: 我希望营销人员害怕。但我也希望他们'请参阅这里有机会在这里做得更好,他们每天都能做到这一点。

      这里有一条路径来做几乎不可能的三件事:1。为他们的公司制作更多的钱2.为他们的客户欣赏到之前的喜悦(不再用无关紧要的东西垃圾垃圾邮件)3。增加自己的工资。

      值得害怕正确。 :)

      -avinash。

  5. 7

    再一次,Avinash,你的想法似乎如此简单,但实施它是棘手的部分。一世'肯定很多组织会不会't让他们的分析忍者甚至"disrupt"业务足够长,以创造这些实验。它可以是吞下任何不同的大药丸,更不用说涉及营销混合和给定区域等客户的重大转变等。

    我在我的组织中开始了。我跑有机搜索,而我的PAL /同伴有抱负的忍者运行付费搜索。我们在我们两个人之间需要所有的买入我们在付费和有机搜索和众所周知的货架空间之间进行实验。我们还没有具体的报告,但实验已经设计,蛋糕在烤箱里。现在它'只是一个体育我们的实验室外套,等待惊呼"Eureka!"

    • 8

      乔什: 很难做到简单的事情。这是我所有时间最喜欢的报价之一:

      “这需要一个非常不寻常的思想来进行显而易见的分析。”–Alfred North Whitehead,英语Mathematician,哲学家(1861-1947)

      很好,呃?

      受控实验需要大量的爱,激情,耐心,数学和愿意愿意更好。许多公司最后一点失败了。他们正在寻找复杂问题的简单解决方案。快速修复。他们未能理解的是,如果对复杂问题的解决方案很容易,那么每个人都会做他们!

      但对你和我和我们心爱的冬季的越多'S Razor社区做到这一点。我们'LL为自己和一天建立一个竞争优势,并不为人,统治世界! :)

      我很高兴你的实验在作品中。一切顺利!

      -avinash。

      • 9

        现在你再做了!这句话是我生命中的故事。

        说到你的帖子,我喜欢它的事实'S很容易用PPC进行控制实验…做昂贵的PPC广播关键词真的燃料品牌和长尾搜索?或者他们是我们日子的目录吗? :)

        谢谢!

  6. 10
    史蒂夫哈里斯 says

    好主也喜欢这个东西。

    谢谢你的另一个非常有洞察力的帖子。

  7. 11

    如果您的公司使用超过1个营销渠道,这是准确衡量结果的唯一方法。我意识到很多人可能不喜欢这个想法或接受它,但它'在Web分析以外的所有其他测量世界中建立了最佳实践(在药物检测中听到安慰剂?)。

    现在,如果我们只能让所有营销提供商都能完全接受这种现实;)一些电子邮件伙计们在最近在这个领域做了很大的进步。

    Re:Ga / Multi-Channel Funnels,这也是一个好时机/地点,因为某人是*暴露*营销并不意味着它有任何渐进效应,而这种真实的是Avinash的核心'帖子。多通道Funnels,他们自己,不要解决这个问题,他们只是显示了一系列事件。

    问题控制测试答案是:序列中哪些事件是驾驶销售和利润最强大的?

    • 12

      "多通道Funnels,他们自己,不要解决这个问题,他们只是显示了一系列事件。"

      完全同意。事实上,让我起床–单通道漏斗唐't显示增量影响。

      有很多例子。

  8. 13

    阿内托,

    实验设计(测试/控制)方法 - 与十九世纪一样,有些约会在许多领域中使用,在传统的营销中使用多年来,他们的应用仍然是各种数字和传统营销测试的真实。

    我想补充一点:对于刚刚开始职业生涯的新分析师,在传统/数字营销分析测试和控制设计中才非常重要。测试/控制设计是营销统计数据的真正应用。

    1)如您在结束思想中提到的那样,一旦您获得不同组的响应率,那么根据设计设置,使用二项式比例等的T检验/测试检查统计显着性。

    2)样本尺寸有多大,使实验有效?答案取决于预期的响应率;根据过去营销的结果;市场亚组之间的预期变化;以及设计的复杂性,包括属性和级别的数量。

    3)统计学家也使用实验设计的逻辑回归模型。例如:在信用卡营销中,品牌,Cobrands,年度百分率,预告率,营销信息和邮件包装的可能组合可以快速加入数十万可能的属性。显然你无法测试所有。使用Logistic回归模型到实验设计方法,统计学家可以帮助营销人员提升ROI并使用少数属性进行测试,并将模型方程应用于已经测试的单元格。使用Logistic回归测试/控制设计,测试仪最终有一整套一致的结果,所有可能的排列。通过实验设计提升您的营销投资回报率(http://hbr.org/product/boost-your-marketing-roi-with-experimental-design/an/R0109K-PDF-ENG)来自哈佛商业评论的一个很好的读案例。我在这里找到了免费版本。

    http://www.peerengage.com/downloads/Boost_ROI.pdf

    谢谢你的好帖子。

    Shilpa Gupta.。

  9. 14

    伟大的帖子!

    这是关于吸吮的故事。所有渠道都吮吸,但是当它们结合时,他们吸吮少。

  10. 15

    如何优先考虑你的努力,这是一个问题…有时候我觉得我花了更多的时间绊倒在试图弄清楚我的能量最好花费的地方,而不是实际做任何富有成效。

    I'不是分析师或附近的任何东西。我对一个网站有一个想法,我认为向开发人士解释是简单的。显然不是(它'部分存在,但这不是我想象的–是的,我知道所有关于dev'抱怨讨厌的客户'理解他们的要求)。然后我咨询了SEO专家,并迅速发现,只有其中许多人知道的谷歌搜索,我可以免费找到什么。所以我开始做更多的更多研究(这就是我遇到了绝对辉煌的博客)。它'S一个非常陡峭的学习曲线,当何时开放了这么多选择,你几乎变得瘫痪(狮子和老虎和熊,哦,我的和,和和)。

    随着后代,我会从一开始就做出非常不同的事情–从SEO点,我的数据库是一场灾难。唉,我的财政资源已经延长太远,以便完全重做,所以我'm试图使它工作(可能会带鸭子到鹰学校–我们会看到)我处理除编程之外的博客和网站的各个方面,以及它'压倒性。你至少把我直接给了我,显然我需要挑选一些角度,然后做我避免的事情–受控实验。

    感谢您解释事物,即使在哪里我不理解它,我至少可以理解至少有方向。

  11. 16

    嗨avinash,

    根据您的数据,有一些有趣的结论:

    净收入/收入率
    电子邮件+ Cataluge 2,59 / 12,00 = 21,58%
    只有2,00 / 10,00 = 20,00%的增压率
    只有电子邮件2,54 / 8,50 = 31,75%
    没有电子邮件,也没有增压1,50 / 5,00 = 30,00%

    这家公司最好的投资回报率是停止广告自己。正确的?

    来自克罗地亚的问候:))

  12. 17

    嗨avinash,

    净收入/收入率是我们的收入百分比'实际上赚了。如果这个速度为20%,这意味着我们每1美元收入才获得0,20美元

  13. 18

    Mvarga.—良好的工作进一步参加分析。您发现了人们在执行此类工作时发现的迷人发现之一。您了解到,有广告渠道产生增量销售,但以低利润率(或低收速率)这样做。大约15年前,作为分析服务的经理,我介绍了这样的数据,我的VP对我生气了,告诉我"percentages don't pay the bills"。换句话说,他很好,广告频道,只要它产生了销售美元和利润美元,那么具有低投资回报率。

    当我与CEO合作时,我给他们额外思考的东西。我将它们专注于电子邮件之间的比较和目录+电子邮件。请注意,收入列非常不同,但利润专栏非常相似。我要求首席执行官思考所有公司资源,只需0.05美元的收入为3.50美元。我问CEO如何使用不同的目录美元呢?这笔钱可以在其他地方投资吗?作为仅产生0.05美元的收入的收入的所有工作人员如何,这些员工可以在更好的投资回报中使用其他地方的员工?

    通常,该讨论导致不同的投资策略… the CEO isn'T急于3.50美元的收入,只会收益0.05美元的利润。

    这是Avinash倡导者的测试风格的魔力。正如Shilpa所说,这种类型的测试已经存在数十年/世纪…但它是杠杆​​杠杆化的。正如Jim Novo所说,你会使用任何归因模型来得出错误的结论…归因模型将告诉您目录和电子邮件共同努力,产生积极的结果,而Avinash在此显示过CEO必须了解CEO必须了解的目录营销的有效性的战略考虑因素。

    Web分析专业人员具有利用此方法的巨大机会。你是聪明,聪明的人。利用Avinash与您分享的内容!

  14. 19
    Naresh Veeradima. says

    谢谢你的宝贵信息avinash !!!

    通常,大多数营销人员都担心实验,如果出现问题。在这种数字世界营销人员中,应积极主动和创造性,同时到达/参与客户。

  15. 20
    Dave Rekuc. says

    我可以添加一件事作为警告的警告是净收入并不总是竞选成功的最佳指标。也就是说,在合理的时间范围内。目录的示例&电子邮件既可达现有的客户群,在那里它可以使用盈利能力作为成功的最终仪表。在客户收购的情况下,只需在短期内看出底线可能不会谨慎。它只是需要建立在测试中的东西,当然不是没有测试的理由:)

    这种方法开始为我创造模糊的地方是用品牌努力。当我全年有100多个广告时,我如何衡量给定杂志广告的有效性?如何为我的品牌衡量Facebook粉丝的价值?两者都是例子'm努力测量。如果您可以将我指向资源,以帮助回答这些刻录问题'd愿意送给你一个整个蒲式耳的苹果。格兰尼史密斯,红色美味,你叫做它。一个整个蒲式耳。

    • 21

      大道: 好点子。

      好事是"我想收购客户" or "这是一个品牌的运动"不再有效借口,以便没有测量公司的工作原因。如果不是在净影响方面,那么这两种东西都可以测量 经济附加值 。 [ 品牌营销指标. 客户终身价值 。]

      我们可以进一步承接长期研究,以计算通过/暴露于上述活动获得的客户的客户终生价值,并仍然证实了增量价值是那些活动的内容。公司更大的公司(代理营销的摩金钱越多)更容易做到这一点。

      关于风扇的价值…。我试验一直参与社会渠道,并试图将参与作为第一次裁减增加的目标价值或经济价值。我甚至应该在那里。如果您很幸运拥有一个集成的客户数据库,那么创建一个在社交渠道上的品牌粉丝的一组客户变得更容易,并在一段时间内分析他们的行为。那应该让你去。 :)

      这不容易,但可行。

      arinash。

  16. 22

    阿内托,
    喜欢这篇文章的价值,特别是因为我完全相信受控实验–我认为他们是伟大的,一种可靠的方法来测试/评估你的想法。

    我非常强调的一件事(你也强调它)是必须正确设置,以便没有不必要的偏见污染结果以及从中汲取的结果和结论(或因果关系)。考虑到许多业务场景(如测试市场)也可能是准实验性的,我完全同意您的意思,即寻求在研究设计中基于某人的帮助。

    即使是说,我也同意您的意见,这种方法是研究变体底线影响的好方法,并在最佳决策路径中向前移动。

    伟大的阅读。

    问候,
    n

  17. 23

    考虑到上面的营销和商业文化的一些评论,我想知道是否有价值它可以重新框架这次讨论。

    作为一个以衡量为导向的营销人员,我始终将成功测量视为“自信”的连续体。不是统计信心本身,而是一个类似的想法;我如何自信地代表实际结果?如果我不得不打赌我自己的钱(在我自己的网络业务中)在各种营销努力的基础上基于测试结果,我使用了哪些标准?

    我使用的标准是二元性:超过测试结果;它 '我有多自信,测试结果真正代表了实际结果。这种信心真的是基于测试设计。上面描述的受控测试方法是我非常自信的,因为它来自科学方法的核心。

    不仅仅是“科学”。真正重要的是:我看到了受控测试*反驳*这么多关于营销实际工作的理论。经常以完全思考的方式吹吹的方式,完全改变人们对业务和客户的看法。

    因此,作为分析师,我认为您有责任将测试设计问题指出给营销人员,因为分析师的作用不是“证明”,这是分析。在我的脑海中,这样做的重要性直接达到了投资的规模以及该计划对公司的重要作用。

    如果您参与了一个重要计划的成功测量,那么您有责任指出可能有“更好的方式”来衡量这些计划的结果,并解释受控测试理念(或其他想法)。营销人员如何确信正在进行正确的决定?如果他们选择不尽可能自信,那就是他们的问题。

    但要让营销人员对结果有虚假的信心是分析师的问题。

    这是一个棘手的讨论吗?当然。如上所述,受控测试往往涉及“放弃”一些销售,这是关于实际工作实际工作以及它的工作程度如何,这是一个可能需要一些管理的艰难的呼叫。但规模往往是令人敬畏:您本月销售额为20,000美元,额外的500,000美元的利润在接下来的6个月内。管理层倾向于关心这样的想法。

    或许他们没有。但这不是你的电话,这是一个管理决定,对吗?

    分析师至少应给予管理机会制定此电话。

    想法?

    • 24

      吉姆: 阿门!

      我喜欢分析师的想法's role is "not to justify, it's to analyze."我想我们展示的分析所以经常似乎是反向直观的或反对"commonly held wisdom"我们转向理由模式。

      该讨论导致了解人员及其心理的重要性,并在提出分析时具有重要背景。我们不会缩小,但它没有伤害了解另一端在游戏中的动机(在我们的分析的收件人中)。

      -avinash。

  18. 25

    我认为在任何环境中都需要受控实验。我认为最大的因素是不是要求我们是否应该做受控实验,相当令人信服的顶级组织,尽可能多地进行广泛的实验,而不是通常的质量测试并从该测试中决定。

    伟大的帖子avinash。

  19. 26

    受控实验不是我营销和分析组合的重要组合,因为该公司是小型和服务的。控制实验对于销售有形的人来说是很棒的,但我们在海外运送汽车。我将使用像A / B测试等的受控实验或基于Web的东西,但除了目录或小册子之类的比例中没有任何切实。不用说,试验(测试)是可以让我改变的东西。

  20. 27
    Hiren Vaghela. says

    精彩的帖子。

    目前我认为最简单的受控实验,通常被称为A / B测试,这个是非常有趣的。这一概念易于理解,重要的是在这里很少讨论的Avinash分享。目前的市场趋势非常有竞争力,我们需要一些升压因素。这些将有助于许多实验者来衡量其结果和生产力。

  21. 28

    为了清楚起见,就是指出,实验Avinash正在描述*不是* A / B作为Web Analytics的常见考验。它们可以称为/空测试,测试*缺席*的广告系列,而不是多个版本的广告系列。这是一个非常重要的区别。

    如果您查看最后一个例子,则会产生5美元的收入,没有任何广告系列。这是参数的核心,如果没有广告系列生成5美元的收入,并且您添加了一个广告系列,如收入中的8.50美元的电子邮件,您只能信用3.50美元到电子邮件(8.50美元–5美元= 3.50美元)。这就是为什么你有一个无法接受广告系列的控制组,以获得基准来衡量。

    它's why the word "incremental"用于描述这种方法;它衡量了一个广告系列*为收入增加了什么。它'是对竞选价值最诚实的评估。这种概念对互动媒体尤为重要,特别是如果你相信价值"customer experience",因为至少部分由该小组生成的5美元,没有广告系列是由于客户经验良好's the value of "loyalty".

    因此,不应将此值记入未生成它的广告系列。

    • 29

      吉姆: 如此重要的澄清,非常感谢你这么雄辩。

      我非常欣赏你在这里的洞察力评论,因为我多年来从你那里学到了很多东西。

      arigato!

      arinash。

  22. 30
    史蒂夫乌德尔 says

    整体而言,良好的文章,一个明显需要衡量投资回报率,但不幸的是,很多人都专注于立即数值结果,而不是在因果区或大局上。有些例子遵循。

    因果区(任何一个可以使测试无效):

    •司机是广告商品的创意,商品选择,定价等吗?可怜的吸引力 - 升力不佳。

    •是电子邮件和/或目录邮寄贡献因素的时机吗?即,如果他们等了6个月,也许目录会更好! Cadence怎么样?电子邮件是否如此频繁,因此每个净增益都很低?

    •竞争对手是否以更好的价格广告类似物品,接近削弱竞选表现?

    另外,我可以指出可能具有驱动结果的几个可能的因果/贡献问题(即使是测试设计和设置),可能会有驱动结果:我认为偏差偏差所谓的“测试”的结果太多了......这么少通常在此进行严格的是,它是垃圾进入,垃​​圾出局,并且我开发了分析到数学上匹配的测试和控制单元,以确保这不是驱动因子。

    大局:

    •增量性低,但无需任何内容不可能是可行的长期业务战略:控制客户(无目录或电子邮件)可能仍然基于以前通信的剩余影响。

    •活动的长期影响是什么以及其他业务因素受到影响的影响?无数的研究研究指出,衡量广告的短期业绩没有充分代表完整的投资回报透视,也没有占品牌影响等 - 这里有很多支持,我在这里写了一个关于广告/品牌价值的演示文稿(对不起,不用于分发,但有很多公开的证据)。

    •同样,买方与广告系列等等的买家的客户终身价值(CLV)。

    NET:经常避免适当的设置,但有意义的结果是强制性的。尽职调查需要评估潜在的因果因素,并确定结果是它们所在的原因。最后,思考大图和衡量长期,以确保您正在捕获您的广告系列的完整ROI和ROO(返回目标)。

    • 31

      史蒂夫: 非常感谢您对令人担忧的事情添加您的想法。我同意你的大部分想法。

      我对科学方法和DOE中有背景雇用某人的压力是为了确保在某种程度上,我们可以避免一些愚蠢的错误。我的,甚至在文章的尽头甚至更深的压力,就迅速采取行动"没有洞察永远持久"恰恰不是采取被控实验作为上帝的永久性世界。我们试验。我们学习。我们采取行动。冲洗并重复。 :)

      arinash。

  23. 32

    阿内克斯
    我很了解文章是如何衡量的,并明确不确定。如果我可以添加更多限定员

    1.我们是为制作更好和合理的假设和正确的实验设计而付出的大屠杀。虽然可以测试每一个假设,但我们需要施加思维,先前经验,或者在某些情况下甚至肠道感觉到值得测试的人。当我们运行多个实验来测试琐碎的假设(如邮件广告系列中使用的颜色或字体),我们将获得虚假的结果。来自xkcd的一个有趣但非常聪明的例子 http://xkcd.com/882/

    你的陈述,"所以你测试,学习,冲洗,重复,变得太棒了。",可以解释为"更多的是相同的测试"。实验的目的是提高我们决策的不确定性。每个实验运行应该有增量学习。

    3.调查结果的范围以及它们的广泛适用是非常相关的。我们应该小心将结果从测试一个段延伸并将其申请另一个部分。

    4.专门从目录示例中映射示例,请注意我们认为授予的隐藏假设。在列出不同价格范围的许多不同SKU的目录中,被视为真实的隐藏假设是,"电子邮件或邮件目录的偏好在价格范围内是相同的".

    5.使用测试统计显着性时,请注意大型样本偏置。在大型样品中(样品>300)小统计异常将被放大,看起来有统计学意义。修复此方法的一种方法是从每个组中选择随机样本,并测试意义而不是对整个组'.

    6.最后,受控实验只讲述了'treatment'差异。但他们不告诉'Why'.

    -rags srinivasan.

  24. 33

    我是一个计算科学毕业,并与不同的营销组织密切合作,作为软件顾问。我发现它绝对令人难以置信,在Claude C. Hopkins写道后90年来"科学广告",您描述的方法仍然很大程度上对一大群营销专业人士仍然不熟悉。

    引用霍普金斯:

    "科学广告是不可能的[了解你的结果]。安全的广告所以。所以最大利润。

    在这一领域的黑暗中摸索可能需要足够的资金来支付国债。这就是填补了广告墓地的原因。这就是令人沮丧的数千人在这一领域赚钱。知识的黎明是在广告世界带来新的一天。"

    所有这些都不是新的。甚至将这些技术应用于营销近乎一个世纪。它仍然需要解释如何?

    • 34

      卢卡斯: 我谦卑地认为这是涉及人口的职能。

      营销分析是少数几个的特权。如果您认为过去90年(或者我敢于20年前说),聪明的人,人,机会,愿望,数据,简单地没有足够的数据。所以少数人参与其中"data" and "optimization"知道并做了一些非常酷的事情。

      如果你看看现在参与营销分析的人数是,我低估了数百万。参与更高水平的营销分析的人数是数十万。

      然而,虽然工具很多,但甚至是免费的,但是我们没有大道"masses"通过访问数据来学习和更聪明。几乎没有任何大学学位,肯定不是数字的学位,这教导了这一精通。

      所以你和我必须采取这项深刻愉快的任务来分享好词,提升对什么的理解'可能,把我们所有人带到更好的地方。那职位'刚刚开始,即使它的知识植根于90年前的东西!

      arinash。

      • 35
        戴安娜黄 says

        精彩的主题avinash! :)

        我知道Kevin是一个充满激情的倡导者的坚持测试和它'太棒了,看到了吉姆,凯文,以及你对此的思考。我刚看到一篇文章,也许可以给我们一些希望数据受过教育的分析和管理劳动力可能在路上(http://gigaom.com/collaboration/prepare-to-fill-one-of-1-5m-data-savvy-manager-jobs/ )。

        完全同意设计经验是如此重要,无法得出正确的结论。我为一家大型企业工作,我们有这些疯狂的智能统计/数据人,但有时某种持有测试可能不是明年(例如,涉及国家媒体活动)。然而,虽然很难,它'绝对是一种非常强大,更清晰的方式来弄清楚不同营销车辆的效率。

      • 36
        戴安娜黄 says

        同样全心全意地同意这次TED演讲,由Mathematician和Magician Arthur Benjamin支持统计专注于教育而不是数学焦点。我肯定希望我拿走了更多的统计课程而不是微积分!

        http://www.ted.com/talks/arthur_benjamin_s_formula_for_changing_math_education.html

  25. 37

    我完全同意正式的测试是衡量结果的唯一可靠方法。但是,正如您在删除所有促销的部分简要提及,所以测试的直接影响可能会误导。永久停止目录促销可能会损害长期电子邮件结果。它's not enough to say "你也可以测试这个"知道很多人将简单地抓住短期结果,而不是为了长期考验而烦恼。

    负责任的分析师将确保她的初始测试包括长期跟踪,并确保所有报告都参考短期和长期结果。这部分是为了确保测试并未'T导致错误的决策,部分以避免使用缺乏长期结果来质疑整个测试过程的有效性的批评。

    • 38

      大卫: 我同意您对完全关闭目录的可能影响,此测试并不意味着以一种方式验证这一假设。目标是简单地确定当前的增量性(对于测试组客户),可以执行电子邮件和目录(或仅一个)。

      即使阅读测试的差读,我的希望只有运行目录计划的成本(人,过程,系统等),只能关闭目录–未占成本的东西)大于对业务的增量净影响。

      通常被引用缺乏长期测量作为保持现状的原因(在其价值过后很久)。你要指出这一点是正确的。

      非常感谢分享您有宝贵的反馈。

      arinash。

  26. 39
    Kumar Vikram. says

    另一个好帖子。

    除了文章的长度,我很喜欢它。

  27. 40

    如果我建议决策者,我会看待这些结果的方式,是目录对收入的增量影响实际上非常令人印象深刻。它可以加倍没有营销(10美元/ 5美元)的收入,并通过单独的电子邮件提高41%(12美元/ $ 8.50)。所以'S不是传统媒体的问题,而不是数字媒体的影响。人们显然不仅仅是在垃圾桶里扔掉目录。问题是传统媒体成本不仅仅是电子邮件生产和交付。所以我'd想知道是否可以保持那种影响的东西,以较低的成本。也许目录可能会缩小一半。也许它只需要是一个通函。也许我们只需要邮寄一块彩色纸,这些纸张加强了电子邮件中的项目。等等…

    结果让我奇怪的事情是人们实际做的事情。目录中有多少人做得多于扔进垃圾桶?为什么通过电子邮件对增量影响?是因为那些与目录互动的人展开了范围–它达到了谁'打开电子邮件?是因为那里'如果您的话,可以对购买的协同效应'RE暴露于目录和电子邮件?或者它是否扩大了我们商品的范围,与那些与目录购买更多的东西,而不是我们的电子邮件暴露的人所做的事情?这些问题的答案可能有助于决定与目录有关,以维持其对收入的积极影响,同时降低其成本。

    电子邮件端的内部数据(打开,单击,转换和转换以及什么项目)也可能有所帮助。

    我不't know if I'm在这里询问太多信息,只是创造汤。但是我'M钓到图片后面的人,因为我认为他们可能有助于决策。

    • 41

      克里斯: 说明这里没有议程非常重要。目标很简单:找到一个如此清洁的方式,以确定添加到公司底线的增量。

      答案是不是我们喜欢的东西,除了这一点。

      我也非常强烈建议你考虑最后一行而不是第一个行。大量收入过滤到对公司没有影响'S底线是每个人的浪费's time.

      最后…我同意与你同意,我们应该寻求理解为什么有些事情发生,而不仅仅是这样。我会进入没有偏见的这个过程。我想我们都同意这一点。 :)

      arinash。

  28. 42

    另一个恒星帖子。一世'很高兴你重申了你喜欢多少"net" –这是许多人忽视的东西,这可能是绝对的杀手。我们分析/在线营销人员往往是任何人的内疚。

    我们可以'T坠入实验和数据用于实验和数据。什么时候'别说并完成了,我们'在运行这些测试并挖掘所有数据以找到真理,最终将在我们公司的底线中产生积极差异。

    网帮助我们记住这一点。再次感谢杀手帖。

    道格

  29. 43

    CRIS,我认为该帖子更多的是正确构建分析方法,而不是寻找结果创建的问题的答案。事实销售是从收到这些程序的人产生的,这是网页分析师必须迟早面临。最重要的是,BI人已经发挥了这些"incremental"规则,所以沃斯将不得不上船。

    我对不了解这种增量概念的重要性的人感到惊讶–如果网络是交互式的,如果"pull"实际上是有效的,为什么会不会'在没有节目时出现销售?所有这些都谈论以客户为中心等等– isn't "pull"这些想法的重点?但后来,人们忽略了测量的实际效果"pull"概念?这是如何衡量值的方法"pull"!

    最后,关于特定的评论"fixing"目录,您的所有想法都可能播放到解决方案中,但最重要的是细分/定位,这也扮演"pull",或更准确地缺乏拉力。什么时候在线"pull"开始软化和失败(自上次购买以来的几周以来),您必须"push"再次,目录是一种很好的方法。此外,仔细的商品分割可以产生效果,以及地理。只有,才能成本切割。

    It'■关于正确的信息,正确的人,正确的时间。现在,大多数经过的是"web marketing"一直将所有消息发送给所有人。

    随着Avinash指出,这是一项巨大的资源浪费。

  30. 44

    最近,我通过谷歌网站优化器进行了对页面优化的多变量测试,简单而有趣。但营销拓拓的考验需要充足的资源,有点难以发布。

  31. 45

    伟大的帖子。夫妇问题。

    1.你是在现实生活中完成的受控实验的例子吗?即,这是一个真正的实验或其他插图?

    如果是真实的实验,那么实验的持续时间是多少?我对实验特别感兴趣,没有营销。在一段时间内看到它会如何趋势很有趣。

    2.什么是有意义的"Pythagorean theorem" in here?

    • 46

      拉古湖: 持续时间将取决于测试和控制结果接受了统计学意义。每个实验的持续时间会有所不同。

      毕达哥拉斯定理图像只是复杂和美丽的表现。视觉辅助。 (这是我最喜欢的定理之一!:))。

      -avinash。

  32. 47
    Priyotosh Das. says

    我正在尝试构建一个多通道归因模型,我想测量跨媒体频道(电视,收音机,在线)跨越活动的有效性,这可能在常见时期运行。

    我还考虑了在车辆中使用广告中的衰变效果。我希望衡量每个广告系列迎合不同产品段的活动的有效性。我也使用销售作为从属变量而不是查询或脚步。

    如何包括所有车辆的效果并衡量每个倡议的有效性?

    • 48

      Priyotosh: 对于您描述的情况,在我的谦逊体验中,多渠道归因分析模型可能仍然留下您的目标,因为我们不'T太多了解太多东西。

      最佳模型是使用多通道控制实验来创建用于隔离各种通道的影响的测试单元。这更难以实现,但恢复良好的答案往往需要。

      arinash。

  33. 49

    嗨avinash,

    现在谷歌已经将数据的比例升高到超过75%,(见 http://searchengineland.com/post-prism-google-secure-searches-172487),它甚至可以在一组搜索目标中计算PPC的PPC的增量益处吗?

    它也杀死了一组搜索表达式的MultiTouch归属。从GWT报告的有机搜索仅限于前一千次(并且在我的经验中,由品牌搜索为我们自己的网站品牌而主导)。

    谷歌应该对其广告模型有更多的信心,并使增量改善可计算!否则我们'回到过去的糟糕的日子'浪费了一半的广告花费,并不知道一半。'

    我对你可以放弃的任何洞察力非常感兴趣。

    • 50

      利亚姆: I'm在加密搜索的最新开发上勾勒出帖子,所以我'LL将所有细节留给那个。

      但该帖子的一个关键部分是控制实验现在对SEO来说比过去更重要。我们有我们想要的每一块数据,现在我们不'T,所以我们必须退回像媒体混合建模这样的技术,我们学会了解我们的电视预算量浪费了多少。 :)

      它将意味着SEO开发新技能,这将是艰难而有价值的。

      arinash。

  34. 51

    这仍然是一个问题。

    在我们公司中,我们决定在线营销部门可以'T处理所有这些不同的交通来源,因此我们正在尝试将营销部门延伸到专注于独奏PPC,独奏SEO等的子部门。

    这意味着个体部门只负责其交通源产生的收入,包括重新定位。

    到目前为止,我们已经增加了体积增加–但净利润下降。

    谢谢你的一篇好帖子。

    Mobileabonnement.

  35. 52

    优秀的帖子,阿内托!

    我在非数字营销中使用了对照实验(它'仍然活着!)多年来,它是迄今为止在工具箱中最强大而易于使用的工具之一。它可以用于不同的任务,从衡量个人运动的有效性,以更复杂的信道效能估计。

    多年来我听到了对这种方法有很大的反对意见,主要来自那些争夺某些东西的人,而且诚实地,他们从未对这一结论产生任何重大影响。当正确实施时,受控实验非常有弹性,对各种外部市场影响,以及所以–他们毕竟旨在控制他们!

    我很高兴数字营销人员正在重视评估增量影响的分析方法。这是一个很棒的!

  36. 53
    安迪·塔卡卡马拉 says

    嗨avinash,

    非常有趣和一个很棒的帖子。

    同意Shilpa,即在离线营销/渠道/漏斗中有测试/实验设计,现在我们在数字营销中看到它们。

    在该示例中,虽然此声明很有趣"It turns out if you completely stop marketing, and你是一家已成熟的公司 , the impact is not that your revenue goes to zero!"

    手术短语是"你是一家已成熟的公司 "。现在它是如何成为一家成立的公司?在此实验/分析之前,是否没有营销/广告或一些通信?

    在一个越来越竞争的世界中,该公司投资分析和改进其营销,是最终获胜的公司。

  37. 54
    洛根大厅 says

    阿内托,

    谢谢 '雷。您的帖子设法切断所有废话并达到裸体骨头。这种敏捷营销现已变得更加普遍,肯定会提供结果。我实际上是一篇关于你的最近文章'revely(rebelhack.com/2015/09/10/the-death-of-the-marketing-agency)。

    但我的问题是这…如果您正在频道和资源和预算分配中运行实验,您如何占购买周期的长度?

    例如,让'S说我正在每周运行Scrums,我的团队正在忙于在渠道运行实验,我忙着移动预算,找到最佳结果,如果客户购买周期为7周,我们如何测量影响。如果我的冲刺(因此scrums)实际上长度为7周?

    谢谢。 :)

    洛根

    • 55

      洛根: 大多数实验平台基于会话(访问)工作。这意味着如果它在一个会话中发生,它们只会将结果视为成功。如果需要更长时间,实验将标志着这是一个失败的访问(如果未来发生结果,它将计算该访问,只有一个成功的访问。

      我将其分享,即表明,确实您应该查看时间滞后和路径长度报告(在多通道Funnels文件夹中),并根据您测量实验的成功,以考虑客户行为来转换到考虑因素。但。您必须确保您的实验平台(您自己或来自工具公司)可以衡量需要衡量的内容。 :)

      arinash。

      • 56

        阿维什,谢谢你回到我身边。

        我不确定我很好地阐述了我的问题,所以我会再试一次:)

        我每周重新分配预算,基于对归属模型的分析;首先是终点比较,然后是时间衰减和基于位置。这有助于告知我的决策。

        购买周期为7周。我在线跟踪的主要事件的时间路径是12天(我想要在12天内发生的90%的活动)。

        如果我每周重新分配预算(而不是每12天),我不遵循科学方法,一次只移动一个变量?我担心的是,通过每7天移动预算,我实际上每7天改变一个输入变量,这将歪斜结果。

        我应该每12天移动预算来弥补吗?

  38. 57
    Sparsh Mehta. says

    冲击完整提示墙上的另一块砖Avinash!

    任何人都可以建议一种方法可以在不同渠道上的视图 - 通过像Facebook和DoubleClick广告网络等不同频道的转换运动进行增量测试吗?
    非常感谢您的反馈。

    谢谢

    • 58

      Sparsh: 使用您使用的工具(DoubleClick和Facebook),他们应该有能力为您完成此测试,这些测试已建立或绝对能够允许您使用目标创建测试,这将允许您衡量每个广告系列的效率在驾驶视图 - 通过转换。

      arinash。

      • 59
        Sparsh Mehta. says

        是的,他们有工具可以在他们的个别平台上做到这一点。但是当我尝试测量每个频道在同时在两个平台上运行广告系数时如何努力查看 - 通过转换,似乎有很多双重计数。因为DoubleClick并不'我可以支持在Facebook上的印象跟踪'T明显了解场景!

  39. 60

    好奇的–实际上不仅好奇,您是否合作或了解任何MLM的案例研究–多层次营销又名,网络营销是商业模式?

    这种环境几乎不可能–没有不可能的,进行这样的渠道活动或计划。你会同意吗?

    欢迎思想。

    • 61

      凯伦: I'm sure there are some experiments that might be a bit harder to execute in a MLM environment. I am confident though that most of the questions you are looking to answer that can be answered using受控实验。

      最佳路径可能是聘请与经验的顾问'LL能够分享完整的可能性集群。

      arinash。

  40. 62

    什么 method would you use to do a controlled experiment for value of brand search?

    (思考分离特定的地理并比较结果,或…?)

    • 63

      马修: 你是指付费品牌搜索吗?如果是这样,你可以使用 AdWords草稿和实验.

      如果您想了解其他广告系列(电子邮件或电视或显示)的上下文中的品牌搜索值,那么您可以设置匹配的市场测试。

      如果您的意思是有机品牌搜索,您可以轻松衡量品牌搜索的转换率。随着时间的推移,对于某些关键字,您没有对井和同时排名良好,您可以比较和对比性能。

      希望这可以帮助。

      arinash。

  41. 64

    当您执行这些分析的典型问题是可能涉及的偏差水平。例如,我们能够跟踪用户'通过在线像素更有效地购物的旅程与离线结果一起,这可能不是100%准确?

    您如何与此类实验中涉及的偏见交谈,您如何控制它们?

    • 65

      巴拉 " 您是对的,我们将有变体我们必须达到我们的能力。

      我们创建我们的实验的一种方式是创建测试和控制市场,以考虑尽可能多的变量。例如,当前市场渗透,观众类型,竞争对手的存在,零售商店合作伙伴数量,谷歌搜索行为为某些查询集群,当前营销花费等等。我们也不'T选择一个测试和一个控制市场,允许更多的数据。

      运行受控实验的匹配市场是一件艺术,我们将尽可能多的科学应用。然后,我们学习。

      arinash。

追踪

  1. […]
    如果这听起来很宏伟,需要大量的努力,它不一定是。它可以很容易开始。如果不可能完全潜入整体测量策略,强烈建议您从小“紧密控制的实验”开始进入测量心态。哟将惊讶于您在一个简单的结构化研究,几个可靠的测量和一个好故事中得到了多远。

    同样,Avinash Kaushik在他的博客文章“受控实验 - 逐步测量”中提供了有关此主题的宝贵细节
    […]

  2. […]是一个目录公司,你必须擅长目录营销(只要它继续提供增量收入),你必须擅长NASCAR(只要它提供增量收入),你必须[…]

  3. […]
    多通道报告显示
    具有多个交互的转换次数
    路径的序列
    但是,它并没有告诉我们路径中的哪个相互作用最具影响力。
    这符合统计实验的答案。
    […]

  4. […]
    多通道报告显示
    具有多个交互的转换次数
    路径的序列
    但是,它并没有告诉我们路径中的哪个相互作用最具影响力。
    这符合统计实验的答案。
    […]

  5. […]
    Nicht Direkt Tracken,Aber Zumindest Ropo-Effekte Berechnen und Aufzeigen Kann Man Man Zudem Mit受控实验 - Etwas Anregung Hierzu Vom Digital Marketing Guru Avinash Kaushik Zu Diesem Thema。
    […]

  6. […]
    回到2011年,Avinash写了一篇优秀的博客文章,关于受控实验的价值称为测量增量:救援的控制实验!在他的帖子中,他描述了测试VS控制设计的应用,以便在一起使用的通信通信通信通信的不同信道。这是对受控实验方法的良好应用。
    […]

  7. […]
    有两种非常简单的方法可以避免在程序化网络上避免7000万美元的机器人流量。首先,持续测试测试以评估增量性。其次,通过出版商和渠道至少每周衡量KPI,并根据结果相应地换档预算。
    […]

  8. […]
    有两种非常简单的方法可以避免在程序化网络上避免7000万美元的机器人流量。首先,持续测试测试以评估增量性。其次,通过出版商和渠道至少每周衡量KPI,并根据结果相应地换档预算。
    […]

  9. […]
    在前段时间,我被一位朋友指出了以下博客帖子: //www.dqnk120.com/avinash/controlled-experiments-measuring-incrementality/ 这是一个非常好的概念的解释,但不能处理坚果和螺栓。我的思想是:专业统计/数据科学(毫不犹豫地使用流行语而且与我携手)真的需要成功执行受控实验并获得合理准确的结果。
    […]

添加您的观点

*