A/Bテストの際によくある4つの失敗とその解決方法

4 common failures and their solutions in A/B testing

A/Bテストのスキル向上:より良い結果のための4つの主要なエラーの対処方法

Oscar Ivan Esquivel Arteagaさんによる写真 on Unsplash

A/Bテストは、ジェンガのようなもので、成功した実験の基盤を形成する相互に関連する要素の繊細なバランスです。ジェンガのゲームと同様に、間違ったブロックを取り除くと、タワー全体が崩れることがあります。A/Bテストも同様に、複数の要素が連携して機能することに依存しています。各要素はテストの重要な要素を表し、いずれかの要素が失敗すると、実験の信頼性が損なわれ、不正確な結果や逃した機会につながる可能性があります。

私の経験では、多くのデータサイエンティストが犯す非常に一般的なミスにより、素晴らしい実験のアイデアが崩れてしまいました。私自身も含めて!そこで、A/Bテストで最も一般的なミスのうち4つを共有したいと思います(それらの解決方法も含めて)。

A/Bテストに詳しくなく、データサイエンスのキャリアを追求する興味がある場合は、少なくともその概念について知識を身につけることを強くお勧めします。

以下のリンクをチェックして、A/Bテストの基礎を学ぶことができます:

データサイエンスのためのA/Bテストの簡単なガイド

データサイエンティストにとって最も重要な統計手法の1つ

towardsdatascience.com

それでは、さっそく見ていきましょう!

問題#1:統計的パワーを設定しすぎる。

統計的パワーは、真の効果を正しく検出する確率、あるいはより正確には、帰無仮説が誤っている場合に帰無仮説を棄却する条件付き確率を表します。統計的パワーは、タイプ2エラー(偽陰性)を犯す確率と逆の関係にあります。

一般的に、研究を実施する際には、パワーを80%に設定するのが一般的です。この定義によれば、パワーを80%に設定すると、帰無仮説が誤っている場合に帰無仮説を棄却しない確率は20%です。簡単に言えば、100回の実施実験の中で真の効果がある場合、100回中80回のみを検出できます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

Q&A:ブラジルの政治、アマゾンの人権、AIについてのGabriela Sá Pessoaの見解

ブラジルの社会正義のジャーナリストは、MIT国際研究センターのフェローです

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

『ジュリエット・パウエル&アート・クライナー、The AI Dilemma – インタビューシリーズの著者』

『AIのジレンマ』は、ジュリエット・パウエルとアート・クライナーによって書かれましたジュリエット・パウエルは、著者であ...

人工知能

「Ntropyの共同創設者兼CEO、ナレ・ヴァルダニアンについて - インタビューシリーズ」

「Ntropyの共同創設者兼CEOであるナレ・ヴァルダニアンは、超人的な精度で100ミリ秒以下で金融取引を解析することを可能にす...

データサイエンス

2023年にAmazonのデータサイエンティストになる方法は?

ほとんどのビジネスは現在、膨大な量のデータを生成し、編集し、管理しています。しかし、ほとんどのビジネスは、収集したデ...

人工知能

「リオール・ハキム、Hour Oneの共同創設者兼CTO - インタビューシリーズ」

「Hour Oneの共同創設者兼最高技術責任者であるリオール・ハキムは、専門的なビデオコミュニケーションのためのバーチャルヒ...