التجارب
التجارب (اختبارات A/B)
track()، ويحسب NanoFlags الفرق وفترة الثقة له وهل هو دالّ إحصائيًا. الإطلاق التدريجي الذي تستخدمه أصلًا هو التوزيع، فيصبح العلم تجربةً دون نظام ثانٍ.في هذه الصفحة
كيف تعمل التجربة
- المتغيّرات من القاعدة. الوحدات خارج نسبة الإطلاق تحصل على قيمة الأصل (قيمة «وإلا» في القاعدة)، والوحدات داخلها على قيمة المعالجة. الإطلاق بنسبة 50% اختبارٌ بنسبة 50/50.
- التوزيع ثابت لكل وحدة. توزّع القاعدة كل وحدة حسب خاصية سياقها (
keyافتراضيًا، أوbucketByفي القاعدة مثلaccountId) بتجزئة حتمية، فتحصل الوحدة نفسها دائمًا على المتغيّر نفسه على كل خادم ومتصفح وحزمة SDK. - التعرّض = أول تقييم. في أول مرة تقيّم فيها وحدةٌ العلمَ عبر قاعدة التجربة، تسجّل حزمة SDK تعرّضًا. لا تُحلَّل إلا الوحدات التي تعرّضت، فلا يخفّف المستخدمون الذين لم يصلوا إلى الميزة النتيجة. لا تُؤخذ التعرّضات بالعيّنة أبدًا، وتُحتسب مرة واحدة لكل وحدة.
- نسبة الحركة. حصة اختيارية (0–100%) من وحدات القاعدة تُدرج في التجربة، بتجزئة ثانية مستقلة. الوحدات خارجها تحصل على القيم نفسها لكنها لا تُحتسب.
- تعمل عبر النشر. يضيف بدء التجربة بياناتها إلى مسودة البيئة، وتبدأ حِزم SDK بالتسجيل بعد نشر تلك المسودة بالمراجعة والموافقات المعتادة. أما الإيقاف فيسري على التحليل فورًا.
إعداد تجربة
- في مسودة العلم، أضف قاعدة تقدّم قيمتك الجديدة لنسبة (مثل 50%) من المستخدمين الذين تريد الاختبار عليهم.
- أنشئ المقاييس التي ستقرّر بناءً عليها في التجارب ← كتالوج المقاييس (انظر أدناه)، وأرسل أحداثها من شيفرتك عبر track().
- التجارب ← تجربة جديدة: اختر العلم والقاعدة، واكتب الفرضية، واختر مقياسًا أساسيًا واحدًا وأي مقاييس ثانوية أو حارسة، ونوع التحليل (أفق ثابت أو تسلسلي).
- ابدأ التجربة ثم انشر البيئة. تظهر التعرّضات خلال دقائق، ويُعاد حساب النتائج كل 10 دقائق.
- عندما تحصل على إجابة، أوقفها وسجّل القرار. ثم غيّر القاعدة (مثلًا إلى 100% معالجة) وانشر.
const onePage = client.boolean("checkout-one-page", false, { key: user.id }); // logs the exposure
// …
client.track("checkout_completed", { key: user.id }); // conversion metric
client.track("order_total", order.total, { key: user.id }); // value metricالمقاييس
يسمّي المقياس حدثًا ويحدّد طريقة عدّه لكل وحدة تعرّضت. الوحدات التي لم ترسل الحدث تُعدّ صفرًا.
| النوع | لكل وحدة | يُقارن باختبار |
|---|---|---|
| تحويل | 1 إذا أرسلت الوحدة الحدث مرة واحدة على الأقل، وإلا 0 | اختبار z لنسبتين |
| عدد | عدد الأحداث | اختبار t لـ Welch |
| قيمة | مجموع قيم الأحداث (مع حد أعلى اختياري لكل وحدة) | اختبار t لـ Welch |
يُحتسب الحدث للوحدة إذا وصل بعد أول تعرّض لها، أو قبله بما لا يتجاوز 10 دقائق (فكثيرًا ما يأتي التعرّض والحدث من عمليتين مختلفتين). لا تُحتسب الأحداث التي تصل بعد إيقاف التجربة. لكل مقياس اتجاه مرغوب، فيعني «أفضل» و«أسوأ» ما تتوقعه حتى لمعدلات الأخطاء. مقاييس النسبة (مثل الإيراد لكل جلسة) مخطط لها.
قراءة النتائج
- لكل متغيّر: الوحدات التي تعرّضت وقيمة المقياس (معدل التحويل أو المتوسط لكل وحدة).
- الفرق عن الأصل مع فترة الثقة له (95% عند ألفا الافتراضية 0.05)، والتحسّن النسبي مع فترة محسوبة بطريقة دلتا.
- قيمة p لاختبار ثنائي الطرف. لا تكون النتيجة أفضل أو أسوأ إلا إذا كانت دالّة عند ألفا التجربة؛ ومع أكثر من معالجة واحدة تُصحَّح ألفا بطريقة بونفيروني.
- الإرشاد: حجم العيّنة اللازم لكل متغيّر لكشف أصغر أثر قابل للكشف بقوة 80%، والتقدّم نحو العيّنة المخطط لها، وتحذيرات العيّنات الصغيرة (أقل من 100 وحدة، أو أقل من 10 تحويلات لكل متغيّر).
النظر المبكر والاختبار التسلسلي
اختبار الأفق الثابت (الافتراضي) صالح عندما تقرؤه مرة واحدة عند حجم العيّنة الذي خططت له. أما النظر كل يوم والتوقف أول مرة تنخفض فيها p تحت 0.05 فيجعل النتيجة الإيجابية الزائفة أرجح بعدة أضعاف من 5%. خطّط لحجم العيّنة، وانتظر بلوغه، ثم قرّر.
إذا احتجت إلى التوقف مبكرًا، فاختر التحليل التسلسلي (خطة Solo وما فوقها). يستخدم اختبار نسبة الاحتمال التسلسلي المختلط (mSPRT): قيمة p وفترة الثقة فيه صالحتان كلما نظرت، فيمكنك التوقف بمجرد أن تصبح النتيجة دالّة. والثمن فترات أعرض من اختبار الأفق الثابت عند حجمه المخطط.
CUPED
يزيل CUPED (خطة Scale) الجزء من نتيجة كل وحدة الذي يتنبأ به سلوكها قبل التجربة، مستخدمًا المقياس نفسه في فترة سابقة (1–30 يومًا، 14 افتراضيًا) قبل أول تعرّض للوحدة. يبقى التقدير غير متحيّز، ويتقلص تباينه بما يقارب مربع الارتباط بين الفترتين، وهذا يعني غالبًا الإجابة نفسها بوحدات أقل بكثير. يتطلب مقاييس مفعّلًا فيها جمع السجل (يحتفظ NanoFlags حينها بالقيمة اليومية لكل وحدة 31 يومًا). وتعرض صفحة النتائج الأرقام المعدّلة وغير المعدّلة جنبًا إلى جنب.
عدم تطابق نسبة العيّنة
يقارن NanoFlags التقسيم الفعلي للوحدات بالتقسيم المُعدّ باختبار كاي تربيع، وينبّه إلى عدم التطابق عندما تكون p أقل من 0.001. عدم التطابق يعني أن ثمة ما يوزّع الوحدات أو يسجّلها بشكل غير متساوٍ (روبوتات، إعادات توجيه تُفقد أحد المتغيّرات، تسجيل التعرّض في مسار واحد فقط من الشيفرة)، ولا ينبغي الوثوق بالنتائج حتى يُفسَّر. الوحدات التي تظهر لاحقًا مع المتغيّر الآخر (تغيّرت القاعدة، أو خاصية الوحدة غير ثابتة) تبقى في متغيّرها الأول ويُبلَّغ عنها.
الخصوصية
- ترسل حِزم SDK تجزئة SHA-256 لهوية الوحدة، محصورة في المشروع والبيئة والخاصية، ولا ترسل أبدًا الهوية أو السياق أو الخصائص الأخرى أو قيم الأعلام. وترفض الحافة الهويات الخام.
- لا يخزّن NanoFlags إلا HMAC بمفتاح لتلك التجزئة، فلا يمكن مطابقة المعرّفات المخزّنة بالأشخاص حتى لمن يستطيع حساب التجزئة لكل مستخدم معروف.
- يحمل حدث track اسم الحدث ورقمًا اختياريًا والوحدة المجزّأة فقط، ولا يُقبل أو يُخزَّن غير ذلك. تُحذف البيانات على مستوى الوحدة بعد انقضاء مدة الاحتفاظ في الخطة من انتهاء التجربة، وتبقى النتائج المجمّعة.
الخطط والحدود
| Explore | Solo | Team | Scale | |
|---|---|---|---|---|
| التجارب | متاحة (أفق ثابت) | متاحة | متاحة | متاحة |
| التجارب قيد التشغيل في الوقت نفسه (المؤسسة) | 1 | 2 | 5 | 50 |
| أحداث التجارب شهريًا (المؤسسة: التعرّضات وأحداث track) | 1,000,000 | 10,000,000 | 100,000,000 | 500,000,000 |
| حماية فنية لكل بيئة يوميًا | 1,000,000 | 2,000,000 | 2,000,000 | 25,000,000 |
| مدة الاحتفاظ بالبيانات على مستوى الوحدة بعد إيقاف التجربة | 90 يومًا | 90 يومًا | 180 يومًا | 400 يوم |
| الاختبار التسلسلي | — | متاح | متاح | متاح |
| CUPED وتاريخ المقاييس | — | — | — | متاح |
أحداث التجارب رصيد شهري للمؤسسة كلها (الشهر الميلادي بالتوقيت العالمي): يُحتسب كل تعرّض وكل حدث track مقبول مرة واحدة، في أي مشروع أو بيئة. وتعرض صفحات التجارب «X من Y حدث هذا الشهر». يُحدَّد رصيد Enterprise في العقد، وتتوفر حزم إضافية بمقدار 100 مليون حدث شهريًا عند الطلب لخطتي Team وScale.
عند نفاد الرصيد يستمر الجمع حتى 150% لبقية ذلك الشهر، مرة واحدة كل ربع سنة ميلادي ودون مقابل. بعد ذلك لا تُحتسب التعرّضات والأحداث حتى بداية الشهر التالي (ويجيب الاستقبال بـ "capped": true)، وتستمر الأعلام في التقييم بشكل طبيعي ولا يُحتسب أي مبلغ تلقائيًا. أما الحماية اليومية لكل بيئة فهي للوقاية من الحركة الجامحة فقط. تبقى التجارب والنتائج الحالية قابلة للقراءة بعد خفض الخطة، ويمكن دائمًا إيقاف تجربة قيد التشغيل.