この記事は フリューAdvent Calendar 2018の12/21分です。
こんにちは。ピクトリンク事業部開発部の荒木です。普段はピクトリンクというアプリのAndroid版を開発しています。世間ではスマブラの話が多いなかで、まだスプラトゥーンをやってます。ウデマエはエリアのS+が最大なので、まだXに到達してません。知り合いの子供(ガチホコのウデマエX)に「エリアでS+ならすごいよ。僕はエリアはA+だし。」とフォローされて心が折れそうですが、Xになるまで頑張りたいと思います。
今回は、Firebase A/B Testingをピクトリンクアプリに導入した話を書きたいと思います。
Firebase A/B Testingとは?
https://firebase.google.com/docs/ab-testing/?hl=ja
Firebase A/B Testingを使うと、Remote ConfigまたはNotifications Composerを使ってアプリの画面や通知に関するABテストの実施ができます。A/Bパターンの振り分けはもちろん、結果の分析も実施され、Firebaseのコンソール上で見ることができます。
今回は、Remote Configを使ったABテストについて説明します。
Remote Configを使ったABテスト
テストの作成
ここからは、テスト作成の手順について説明します。画像多めでやっていきます。
① コンソールの左ペインからA/B Testingを選択
②「テストを作成」を選択
③ Remote Configを選択
④ 基本情報の入力
これが、Remote ConfigによるABテストの作成画面です。まずは、テスト名とテストの説明(任意)を入力してください。
今回は、ボタンの色を変えるテストを想定して「ボタンの色」としてみました。
⑤ ターゲット設定
テスト対象となるユーザーを設定します。
ターゲットユーザー | アプリのIDやバージョン、ユーザープロパティによって対象を絞ります。 |
ターゲットユーザーの割合 | ターゲットユーザーのうち、何%がテスト対象になるかを設定します。 100%ならターゲットユーザー全員が対象になります。 |
アクティベーションイベント (任意) | このFirebaseイベントが送信されることで、ユーザーがテスト対象になります。 たとえば、特定の画面に遷移したイベントなどを指定します。 |
⑥ 目標設定
コンバージョンの設定をします。
メインとなる目標としてFirebaseのイベントを1つ選択します。このイベントの送信が、コンバージョンとしてカウントされます。また、別のFirebaseイベントを追加したり、推定収益やクラッシュフリー率などを目標に設定することができます。
⑦ バリアントの設定
次は、バリアントの設定です。バリアントの設定をすることで、Remote Configで取得できる値が変化します。「パラメータ」の部分には、Remote Configのパラメータキーを設定します。「値」の部分にはパターンごとにRemote Configが返す値を設定します。
今回は、 ab_test_param
キーで、コントロールグループ(Aパターン)ではBLUE、BパターンではREDを返すような設定にしました。
この設定をしておくと、アプリ側でRemote Configを使って ab_test_param
キーで値を取得するとBLUEまたはREDのどちらかが50%の確率で取得できます。
④〜⑦の設定が終わったら画面下の「確認」ボタンを押します。
⑧ テストの開始
テストの内容を確認したら、「テストの開始」を押すとテストが開始します。
ちなみに、「テスト端末を管理」を押すと特定の端末でABパターンを固定する設定ができます。
テスト結果の確認
2週間ほど待つとテストの結果がでます(十分なサンプル数がない場合は終わらないかもしれません)。
下の画像のように、最も効果的なパターンが表示され、コンバージョン率や改善率も提示されます。
ABテストを終了する際に、オリジナルのパターンに固定するか、最も効果的なパターンに固定するかを選択することができます。
さいごに
この記事では、Firebase A/B Testingの導入方法と結果の確認について説明しました。Firebase A/B Testingを使うことで、とても簡単にABテストを実施することができます。
ABテストを上手く活用しながらどんどんサービス改善をしていきたいと思います!