Гугл прав! Эпоха тестов и спецификаций должна закончиться в смартфонах

Значит, кто-то наконец это сказал. Очень заметный человек в этом. В недавнем Сделано подкастом GoogleМоника Гупта, старший директор по управлению продуктами Google Silicon Teams, сказала то, что многие технические специалисты уже знали, но избегали говорить, потому что это полностью противоречит общепринятому мнению:

Спецификации и тесты удобны, но важна функциональность.

Отвечая на критику чипа Tensor от Google за плохие результаты бенчмаркинга, Гупта был довольно прямолинеен:

Я думаю, что классические тесты в какой-то момент служили цели, но я думаю, что с тех пор индустрия развилась… классические тесты были созданы в то время, когда ИИ и телефоны даже не существовали. Они могут рассказать какую-то историю, но мы не чувствуем, что они рассказывают полную историю… Мы измеряем фактические рабочие нагрузки программного обеспечения, которые мы выполняем на нашем чипе. Затем с каждым поколением чипов Tensor мы стремимся сделать их лучше, будь то лучшее качество, лучшая производительность или меньшее энергопотребление.

Хотите знать, насколько хорош телефон? Проверьте их бенчмарки

Некоторые могут найти в этом утверждении следы иронии, поскольку эталонные тесты и технические характеристики действительно вошли в обзоры и анализы смартфонов с появлением Android. До этого, в эпоху Nokia и BlackBerry, редко можно было узнать название и скорость процессора и оперативной памяти в устройстве, не говоря уже о результатах тестов процессоров. Единственными характеристиками, которые обычно учитывались, были мегапиксели камеры, размер дисплея (разрешение не имело большого значения) и, в некоторой степени, размер батареи.

Сравните это с сегодняшним днем, когда практически все внутри телефона подвергается своего рода эталонным тестам — процессор, дисплей, камеры, аккумулятор… вы называете это, и вы найдете это. Они существовали и в прошлом, но в последнее время они фактически стали звездами шоу смартфонов, а не второстепенными актерами. Сегодня часто можно увидеть, как бренд начинает делиться результатами тестов процессора телефона, рейтингами DXO своей камеры и / или подробной информацией о рейтинге своего дисплея задолго до его выпуска.

Можно понять, откуда берутся бренды в этом отношении. Эти тесты и рейтинги рассматриваются как «стороннее» и объективное доказательство производительности и качества и часто являются способом показать, насколько продукт является лучшим в определенной категории или лучше, чем его конкуренты. И это, безусловно, достаточно справедливый подход. В конце концов, эталонные тесты и рейтинги предназначены для тестирования компонентов, поэтому нельзя игнорировать то, насколько хорошо они справляются с этой задачей.

Эталонный блюз: «Они могут рассказать какую-то историю, но не всю историю»

Проблема возникает, когда эталонные тесты рассматриваются как все, что касается устройства. Гонщик Формулы-1 однажды сказал, что цифры на автомобиле не годятся, если им непросто управлять и управлять им, и то же самое относится к тестам смартфонов. Как заметил Гупта: «Они могут рассказать какую-то историю, но мы не чувствуем, что они рассказывают полную историю.«Процессор может показывать отличные результаты в тестах, но он не может компенсировать ошибки в программном обеспечении. Высокий рейтинг DXO для камеры может скрывать вялую обработку. Есть только так много тестов и рейтингов, которые могут сделать. Они похожи на условия испытаний, а не на реальные. Что еще хуже, бренды теперь начали сосредотачиваться на высоких результатах тестов, а не на подлинном потребительском опыте. Действительно, эталонная оценка стала важной частью презентации любого бренда!

Надо отдать должное, Google уже некоторое время пытается вырваться из этой системы, основанной на тестах. Когда она поглотила Motorola, она выпустила такие устройства, как Moto G и Moto X, которые подчеркивали плавную и инновационную производительность, а не технические характеристики. Даже когда казалось, что он был втянут в войну спецификаций с линейкой Pixel, Google выпустил варианты Pixel «A», которые показали хорошую производительность с относительно скромными спецификациями. И когда в прошлом году он перешел на собственную процессорную платформу Tensor для Pixel, поисковый гигант ясно дал понять, что отдает приоритет интеллектуальной функциональности, а не «мощности». Мощность, которая была определена результатами тестов, т.е.

Тензор: вещи, которые делают бенчмарки напряженными

Пиксели подвергались критике за то, что они не такие мощные, как устройства на базе флагманских чипов от Qualcomm и MediaTek. Однако здесь следует отметить, что они, как правило, отстают только в очень специфических условиях — скажем, при максимальных настройках высококачественной игры или при обработке длинного видео. В большинстве основных задач Pixels не уступают любым флагманам Android, если не лучше, и имеют ряд интеллектуальных функций, которых нет у многих флагманов. Да, они могут загружать игры не так быстро, как некоторые другие флагманы, и могут пропускать нечетные кадры то здесь, то там, но разница не так катастрофична, как показывают результаты тестов. Как однажды заметил руководитель технологического бренда: «Должны ли результаты тестов иметь значение, если телефон работает без сбоев для пользователя? Несправедливо называть телефон маломощным на основании названия его процессора или результатов тестов. Речь должна идти о том, насколько хорошо он работает, а не о его контрольных показателях».

Это не значит, что бенчмарки совершенно бесполезны и являются пустой тратой времени. Они бесценны, поскольку дают нам меру производительности, а также шкалу сравнения. Однако они должны дополнять повествование о потребительских технологиях, а не управлять им. Контрольные показатели немного похожи на академические экзамены — они дают меру того, что человек знает, но ни в коем случае не являются неопровержимым доказательством знаний человека. Даже Эйнштейн завалил экзамены. Мы, честно говоря, потеряли счет количеству устройств, которые могли похвастаться впечатляющими результатами тестов, но заикались и спотыкались в реальном мире.

Google сделала смелый шаг вперед в мире, помешанном на бенчмарках, сделав выбор в пользу интеллекта, а не просто скорости своих чипов Tensor. Замечательно видеть, что он также возвращает его, даже несмотря на то, что некоторые технические эксперты презирают его результаты тестов. «То, что мы оцениваем, — это фактические программные рабочие нагрузки, которые мы запускаем на нашем чипе», — сказал Гупта в подкасте. Мы думаем, что она права. В конце концов, речь должна идти о том, насколько хорошо что-то работает. Телефоны с высокими бенчмарками и посредственной/глючной производительностью сродни блюдам с превосходными ингредиентами и презентацией, но все же в конечном итоге имеющими странный вкус. Бенчмарки, несомненно, полезны, но пришло время выйти за их рамки.