در محصول‌های بالغ، اکسپریمنت کردن روش خوبی برای تغییر و بهبوده؛ ولی خیلی مهمه که بدونیم به کمک یک اکسپریمنت خاص به چه نتیجه‌ای می‌خوایم برسیم، چه یوزرهایی رو درگیر می‌کنیم و چه نیازهایی برای این
اکسپریمنت داریم.

به طور دقیق‌تر، وقتی می‌خوایم یک تغییری رو آزمایش کنیم، خوبه که قبلش برای این دو سوال جواب داشته باشیم:

  • با این آزمایش به چه تصمیمی می‌خوایم برسیم؟
  • چرا این تصمیم رو با اطلاعات فعلی نمی‌تونیم بگیریم؟
    جواب دادن به این سوال‌ها کمک می‌کنه که اکسپریمنت‌هایی رو طراحی کنیم که با حداقل منابع، بیشترین کمک رو به تصمیمی که می‌خوایم بگیریم بکنه.

یک نکته دیگری که مقاله میگه اینه که بدونیم برای چه کاربری داریم آزمایش رو اجرا می‌کنیم و تا جای ممکن کاربرها رو به صورت محلی انتخاب کنیم. این که بیایم تغییری رو برای همهٔ کاربرهامون آزمایش کنیم، احتمالاً به اون نتیجه‌ای که می‌خوایم بگیریم همگرا نمی‌شیم. مثلاً یک تغییری ممکنه برای یک دسته از کاربرهامون خیلی مفید باشه اما دستهٔ عمده‌تری بهبودی حس نکنن. توی این حالت متریک‌هامون به اندازه کافی جابجا نمی‌شه و ممکنه
به نتیجه برسیم که تغییر، تغییر خوبی نیست؛ در صورتی که می‌تونستیم این تغییر رو فقط برای اون دستهٔ محدودتر کاربرهامون انجام بدیم.

مورد دیگری که روش تأکید می‌کنه‌، کوچک تست کردنه. بعضاً می‌خوایم یک‌باره تغییر بزرگی رو اکسپریمنت کنیم به این هدف که در مصرف منابع و زمان صرفه‌جویی کنیم؛ ولی اتفاقی که می‌افته معمولاً برعکسه. اولا احتمال خطا و باگ زیاد میشه، بعد هم ممکنه کاربرها با این تغییر بزرگ خوشحال نباشن‌ و در نهایت ممکنه به نتایج اشتباهی برسیم چون احتمالاً همه ابعاد مسئله رو نمی‌تونیم ببینیم‌.

🔗 لینک مقاله


این نوشته رو اول در کانال تلگرام منتشر کردم. اگر دوست دارید نوشته‌های بعدی رو زودتر بخونید، پیشنهاد می‌کنم عضو کانال بشید.