Не надо тестировать все подряд

Некоторые ребята угорают по А/Б и другим видам тестирований, тестируют все подряд и всем советуют.

А я не рекомендую.

Почему:
1. Часть вещей этого просто не требует. Либо все уже тысячу раз протестировали до вас и надо просто найти результаты, либо на этот счет есть исследования, либо опыт и набитые шишки говорят, что так надо, а так не надо.
2. Любой А/Б тест предполагает, что вам нужно как минимум в два раза больше трафика, конверсий, бюджетов, чем если бы теста не было. С практической точки зрения, это чаще означает время. Вы не можете увеличить в два раза бюджет, поэтому просто получаете тот же объем конверсий на каждом варианте, но теперь уже за более долгое время.
3. По своей сути А/Б тесты чаще направлены на тестирование мелких изменений: цвета или расположения кнопки, конкретной текстовки и т.д. Прирост, как правило, меряется в процентах, а не в разы.

Таким образом, такие тесты отнимают немало ресурсов, которые было бы разумнее направить на что-то другое.
Что реально может дать прирост в разы (и что тоже можно и нужно тестировать) — это новое ценностное предложение или позиционирование, кардинально другой UX, изменения во взаимодействии с клиентами и т.д. В общем, большие изменения, которые могут дать серьезный прирост, а не мелочи, съедающие больше ресурсов на администрирование, чем дающие результата.