上一章结尾我卖了个关子:哪句标语更好、哪张截图排第一更好,我一个都没告诉你,因为这些问题不能靠品味回答,只能靠实验。这一章就讲怎么做这个实验——用苹果自己给的工具,把你的产品页当成产品一样,一版一版地测出真答案。
苹果自带的实验台:产品页优化
你不用自己搭什么系统。App Store Connect 里内建了一个功能叫产品页优化(Product Page Optimization,简称 PPO)。它能做的事很简单,但很关键:
- 你在默认页之外,最多再准备 3 个变体(treatment)。
- 能测的是视觉素材:图标、截图、预览视频。
- 苹果把真实的 App Store 访客随机分流,每个变体分到一部分人,然后告诉你每个变体的转化率——以及一个「有多大把握」的置信提示。
- 一轮最长能跑 90 天。
为什么强调用苹果自己的这个工具,而不是外面那些第三方测试?因为 PPO 量的是真金白银的东西:真实的 App Store 流量(包括搜索来的人)、真实的下载、公平的随机分流。外面有些工具是另建一个假落地页让人估摸,那不是真实商店里发生的事。要「被免费流量验证过」,就得让验证发生在真实的免费流量上。
怎么做一个能信的实验
工具好用,但用错了会得出比不测还糟的结论——因为你会带着「我测过了」的自信,把一个其实是噪声的结果当真理。做一个能信的对照实验,守四条:
一、一次只动一个变量
如果你在一个变体里同时换了图标和截图,它赢了,你也不知道到底是图标的功劳还是截图的功劳——下次你想复用这个经验,无从下手。一次只改一样东西,结果才「可解释」:赢了,你就确切知道是那一样起的作用。
(有个例外:如果你想问的是「整套新方向能不能打败旧方向」,那可以整页换。但要清楚你这时学到的是「方向」,不是「哪个元素」。)
二、先有假设,别瞎钓鱼
动手前,把你要验证的话写成一句你有可能被打脸的假设,比如:「第一张截图用『结果』开场,会比用『功能』开场转化更高。」有假设,实验才是在回答一个问题;没假设就乱试一通,叫钓鱼——就算钓上来点什么,也多半是随机撞的,换个时间就没了。
三、给够样本、给够时间,别提前收网
这是最多人栽的地方。转化率实验需要大量流量才能分出真假。原因是转化率本身天天在随机抖动,样本少的时候,两个变体的差别很可能纯粹是抖出来的。几条实操标准:
- 每个变体攒够足够多的下载(几百个起步,越多越稳),再看结论。
- 至少跑一到两周,把工作日和周末的差异平摊掉——人们周末和周三的下载行为不一样。
- 别一看到领先就收网。 这有个专门的坑叫偷看问题(peeking):你天天盯着,哪天它「看起来赢了」就赶紧停、宣布胜利——可实验途中数字本来就会来回穿插,你专挑领先的那一刻停,等于系统性地把随机波动误当成真效果。正确做法是事先定好跑多久、攒够多少再看,中途它怎么晃都不动手。苹果给的那个置信提示没到位之前,就当还没有结论。
四、只追「值得追」的差距
两个变体差个一两个百分点,往往既难证明是真的,也不值得你为它折腾。盯着有意义的差距——那种一眼看上去就明显拉开、置信度也很快到位的胜负。小打小闹的微调,性价比极低。
该按什么顺序测
你测试的机会(流量)是有限的,别浪费在边角料上。按杠杆从大到小排:
- 第一张截图(以及它的标语):上一章说过,多数人看它一眼就决定。这是回报最大的实验,先测它。
- 前几张截图的顺序:同样的素材,换个出场顺序,讲的故事就不一样。
- 图标:影响搜索卡片和桌面的第一眼,但改动大、审核也麻烦(图标变体需要包在 App 里),排在截图之后。
- 预览视频:有它更好,但通常不是决定成败的第一因素,最后测。
流量太少怎么办:独立开发者的现实
现在说句大实话。上面那套「攒几百个下载、跑一两周」,是建立在你有一定流量的前提上的。可你是个刚上架的独立开发者,一天可能就几十次曝光——按这个速度,一轮实验要跑到天荒地老,甚至永远到不了置信。
这不是让你放弃,是让你换打法:
- 只测大摆动,不测微调。 流量少时,只有「差距巨大」的对比才可能在小样本里露出马脚。所以别去比「蓝标语 vs 绿标语」,去比「完全不同的两个概念方向」——差得越狠,越少的样本就能看出高下。
- 多用定性判断补上。 把两版截图发给几个目标用户、发到你的小圈子里,看他们第一眼的反应和原话;去扒那些跟你像、又活得不错的竞品,看它们的第一张截图在讲什么——它们大概率已经替你花钱试过了。
- 接受一部分验证要靠后面的付费流量。 广告能在短时间内把大量流量灌到你想测的素材上,比自然流量快得多——代价是花钱。这正是「付费那条腿」的用途之一,我们到第十一章往后会讲:它不只是买下载,还能当一个更快的实验台。但顺序仍然是先用免费流量把能测的测了,测不动的再考虑花钱去测。
实验跑完,你手里多了什么
一轮干净的实验跑完,赢的那一版就成了你的新默认页。但你得到的不只是「换了张更好的截图」——你得到的是全书铁律里的第二样弹药:一段被免费流量验证过的内容。
你现在知道(不是觉得)这句标语、这张截图,能让真实的人更愿意下载。这句话日后你敢原封不动地印到广告里,因为它已经在不花钱的战场上赢过一次了。
到这儿,苹果免费机器里「你说了算」的两大块——被搜到(关键词)和被转化(产品页)——都拆完、也都装上了「用实验验证」的习惯。接下来三章,我们去够那些不完全由你说了算、但回报极高的口子:编辑推荐、榜单和上新、评分与定价。第一个,就是被无数人当成玄学的 featuring。