Рейтинг DxOMark и что с ним не так

В последние годы, когда речь заходит о камерах смартфонов, всё чаще вам могут встретиться упоминания рейтинга камер DxOMark. Это крупный англоязычный сайт, который свою известность получил выступая в качестве «судьи» по качеству съёмки фото и видео ключевыми моделями смартфонов. В этой заметке – чуть подробнее о рейтинге и, главное, насколько можно ему верить.

Содержание статьи:

Рейтинг DxOMark 2021 для камер смартфонов

Прежде чем объяснять, что именно нас очень настораживает в рейтинге DxOMark, представим сам рейтинг. Так на момент написания данной статьи выглядит топ-10 смартфонов, в которых, по версии DxOMark, самые лучшие камеры на сегодняшний день. Напротив каждого девайса указано итоговое число набранных баллов: чем больше, тем лучше.

Xiaomi Mi 11 Ultra – 143 (фото – 148, видео – 117, зум – 100);
Huawei Mate 40 Pro+ – 139 (фото – 144, видео – 115, зум – 98);
Huawei Mate 40 Pro – 136 (фото – 140, видео – 116, зум – 88);
Xiaomi Mi 10 Ultra – 133 (фото – 136, видео – 110, зум – 101);
Huawei P40 Pro – 132 (фото – 137, видео – 113, зум – 86);

Mi 11 Ultra – лидер рейтинга DxOMark, первое место для камер смартфонов

Vivo X50 Pro+ – 131 (фото – 137, видео – 108, зум – 88);
Apple iPhone 12 Pro Max – 130 (фото – 138, видео – 113, зум – 68);
Apple iPhone 12 Pro – 128 (фото – 135, видео – 112, зум – 66);
Vivo X60 Pro+ – 128 (фото – 131, видео – 110, зум – 84);
Xiaomi Mi 10 Pro – 128 (фото – 130, видео – 110, зум – 89).

Полный перечень вы можете найти на официальном сайте DxOMark. В нём около сотни известных смартфонов флагманского и, реже, среднего уровня. Самую высокую оценку в рейтинге сейчас имеет флагман Xiaomi Mi 11 Ultra, который, к слову, оснащён самым большим сенсором камеры среди смартфонов.

Помимо главной оценки в DxOMark также предусмотрены отдельные оценки за качество фото, видео и возможности приближения картинки (зум). Для каждого из смартфонов в десятке мы указали эти оценки в скобках. Выставляют авторы рейтинга их исходя из следующих пунктов:

Критерии оценки фото: экспозиция и контраст, точность цветопередачи, точность и скорость автофокуса, текстуры, уровень шумов, артефакты, съёмка при плохом освещении, качество эффекта боке (размытие для портретной съёмки) и качество превью-изображений;
Для оценки видео используются многие из перечисленных выше критериев, включая экспозицию, цвета, автофокус, текстуры, шумы и артефакты. Также сюда добавляется оценка качества стабилизации;
Определение качества зума разделено на две категории: основной зум, обеспечиваемый телефото камерой, а также так называемый обратный зум, за который отвечает сверхширокоугольная камера.

Детализация итоговой оценки Mi 11 Ultra по отдельным тестам DxOMark

К каждой оценке DxOMark прикреплён массивный пояснительный материал, содержащий большое количество примеров фото, различной сопутствующей информации и сравнений с конкурентами.

Как видите, на первый взгляд, всё довольно серьёзно, профессионально и обстоятельно. В итоге рейтинг кажется заслуживающим если уж не полного доверия, то хотя бы частичного. Однако у нас, да и не только, в этом есть сомнения.

См. также: выбираем лучшие бюджетные камерофоны 2022

Что не так с рейтингом камер DxOMark?

Взглянув на рейтинг сразу же можно приметить одну деталь: DxOMark очень любит китайские смартфоны (причём не все) и крайне прохладно относится к иным брендам. Например:

Apple iPhone 12 Pro Max с матричной стабилизацией и LiDAR’ом, которых у конкурентов попросту нет, на момент написания статьи оказался лишь на седьмом месте;
Прошлогодний ультимативный Samsung Galaxy S20 Ultra оказался за пределами первой десятки, а новейший S21 Ultra с Exynos не вошёл даже в топ 20;
Славящиеся своей камерой и технологиями актуальные Google Pixel также не попали в топ 20;
Камерофон Asus ZenFone 7 Pro, в прошлом году выигравший крупнейшее голосование по камерам, в котором приняли участие более 4 миллионов пользователей, в DxOMark оказался ниже 40-го места;
Японские Sony Xperia 1 II, в разработке которых помогают авторы профессиональных камер Sony, по версии DxOMark снимают хуже стоящего вдвое дешевле Honor из 2019 года и находятся где-то ниже 50-го места.

Смартфоны Sony в DxOMark стабильно попадают в немилость

Впечатляет, согласитесь? Неужели все названные девайсы настолько плохи по части камер?

Ещё заметим, что рейтинг может внезапно меняться. Авторы объясняют это пересмотром правил тестирования, причём такой пересмотр происходил уже несколько раз. На наш взгляд, изменения вносятся авторами тогда, когда рейтинг начинает выглядеть уж слишком подозрительно. Настолько, что даже у неопытного пользователя возникает тень сомнения в результатах.

К примеру, осенью 2020 лучший из iPhone – модель 11 Pro Max занимала в рейтинге только 16-е место (!), пропуская вперёд себя множество китайских устройств. DxOMark обновили тест и модель тогда внезапно с 16-го перелетела на 6-е место. Иными словами, рейтинг сделали чуть более правдоподобным.

Также интересно дела обстоят со временем выпуска обзоров. Для одних девайсов, как правило, китайских, обзор может выйти даже до поступления гаджета в продажу (официальное объяснение: производители присылают гаджеты в тестовую лабораторию заранее). В таких случаях устройство обычно получает очень высокую оценку от специалистов.

Одна из проблем DxOMark – полное отсутствие столь же раскрученных в медиа конкурентов, которые могли бы поставить под сомнения их выводы

А вот в иных ситуациях, с перечисленными выше смартфонами Apple/Samsung/Sony/Asus/Google и другими, в DxOMark будто совсем не торопятся. Обзор новинок от этих компаний запросто может выйти даже через месяцы после того как сам девайс поступил в продажу. Причём это касается даже ключевых флагманов, обзоров которых пользователи обычно ждут как можно быстрее.

И что любопытно, протестированные с запозданием устройства никогда не берут призовых мест, будто они для них и не предназначались. В итоге весь «пьедестал» DxOMark занимают гаджеты 2-3 китайских компаний. Впрочем, возможно, это всё лишь череда совпадений. Но перейдём к более конкретному примеру.

DxOMark 2021: ситуация с Mi 11 Ultra и Galaxy S21 Ultra

Пожалуй, самый яркий пример спорности оценок DxOMark случился именно в этом году, с выходом двух чрезвычайно мощных флагманов – Galaxy S21 Ultra от Samsung и Mi 11 Ultra от Xiaomi.

Странности можно отследить уже по датам появления обзоров. Mi 11 Ultra поступил в продажу 2 апреля и в этот же самый день получил обзор на DxOMark. Обзор Galaxy S21 Ultra подоспел только спустя более месяца после выхода гаджета.

Тыльная сторона Mi 11 Ultra выглядит весьма массивной во многом благодаря вспомогательному экрану. Сама Xiaomi призналась, что он достался смартфону от браслета Mi Band 5

Mi 11 Ultra поставили на первое место в рейтинге с уверенным отрывом от конкурентов, тем самым показывая, что это самый совершенный, бескомпромиссный камерофон на сегодняшний день.

Судьба Galaxy S21 Ultra была полностью противоположна: девайс оценили существенно хуже даже S20 Ultra. Если флагман Samsung 2020 занимает сейчас в рейтинге 12-е место, то S21 Ultra поставили на 21-е. То есть, по версии DxOMark, новинка существенно хуже смартфона годичной давности.

Основная камера актуального Galaxy S21 Ultra

Это весьма удивительно, ведь в S21 Ultra Samsung поработала буквально над каждой из основных камер:

Главная камера по сравнению с S20 Ultra получила новейший сенсор 108 Мп второго поколения, впервые с 12-битной глубиной цвета;
У телефото модуля появился честный десятикратный оптический зум;
Был добавлен второй телефото модуль, оптимизированный для портретной съёмки;
Для сверхширокоугольной камеры добавили фокусировку PDAF, открывающую возможность качественной макросъёмки;
ToF-камеру заменили на лазерный автофокус, который справляется с задачей оценки расстояний быстрее и точнее, из-за чего S21 Ultra не страдает от проблем с автофокусом, свойственных S20 Ultra.

Однако из заключения DxOMark выходит, что снимать фото и видео S21 Ultra стал только хуже. Как это возможно? Неужели Samsung нас настолько обманывает и все усовершенствования ничего не значат? Рискнём предположить, что обманывает не Samsung.

В 2020 Mi 10 Pro также обошёл S20 Ultra в рейтинге. И это при том, что себе Samsung тогда забрала более технологичный сенсор 108 Мп (HM1), а для Xiaomi поставляла старый ISOCELL HMX без продвинутого биннинга и прочих технологий. Однако DxOMark все равно отдали победу китайцам

Одним из первых о своём возмущении такими оценками высказался известный сетевой инсайдер Ice Universe, на счету которого около сотни верных предсказаний по мобильной тематике. Сильное отставание оценок S21 Ultra от S20 Ultra в тестах DxOMark он назвал крупнейшим абсурдом из всего, что он только видел.

Всё тот же Ice Universe позже опубликовал одно из первых в сети сравнений камер Mi 11 Ultra и S21 Ultra, а также некоторых других смартфонов. Причём сделал он это ещё до того, как на DxOMark вышел обзор, назвавший гаджет Xiaomi вершиной рейтинга мобильных камер.

Уже тогда на фото, сделанных инсайдером, было заметно, что несмотря на более крупный сенсор основной камеры, Mi 11 Ultra отстаёт от S21 Ultra (судя по всему, причина в софте и алгоритмах). Ещё сильнее это отставание проявляется на снимках, где использовалось оптическое приближение:

Сравнение возможностей зума Mi 11 Ultra и S21 Ultra YouTube-блогером Danny Winget. При этом DxOMark ставит оценку за зум для Xiaomi – 100, а для Samsung – 76

Результат на картине выше не удивителен, ведь в S21 Ultra оптическое увеличение по-честному десятикратное, а Mi 11 Ultra использует пятикратный зум и дополняет его цифровым растягиванием. На большее увеличение гаджет Xiaomi, исходя из характеристик его телефото объектива, попросту не способен. См. также наш рейтинг смартфонов по оптическому зуму.

К концу весны Mi 11 Ultra попал в руки уже ко многим блогерам и выводы оказались схожими. Да, Mi 11 Ultra – неплохой камерофон, но во многих сценариях он отстаёт от флагмана Samsung по качеству съёмки. Mi 11 Ultra часто путает цвета, давая нереалистичную картинку, порой засвечивает целые участки фото и так далее. Вот наглядное большое видеосравнение от известного западного блогера SuperSaf:

По сути, весь обзор SuperSaf ставит под сомнение выводы DxOMark

К схожим выводам пришли и отечественные обзорщики. Взгляните, к примеру, вот на это весьма подробное видео от канала «Честный блог».

Однако рейтинг DxOMark в цифрах даёт прямо обратные результаты. Из него выходит, что два гаджета вообще не сравнимы: Mi 11 Ultra – безоговорочный лидер, занимающий первое место с отрывом, а S21 Ultra даже не в двадцатке (!) лучших. В реальности, как видите, всё совершенно не так однозначно.

См. также: Galaxy S22: характеристики и нововведения.

Верить ли рейтингу DxOMark?

Глядя на рейтинг DxOMark, некоторые пользователи могут подумать, что даже если он не идеален и не очень точен, то все равно позволяет оценить качество съёмки различными смартфонами хотя бы примерно. И вот эта мысль, вероятно, – большая ошибка.

Как нам кажется, DxOMark не показывает даже приблизительный расклад по камерам смартфонов. Этот рейтинг, напротив, запутывает пользователей. Флагманы Samsung, Sony, Asus и Google, которые в реальности вполне могут конкурировать с китайскими оппонентами по качеству съёмки, рейтингом всегда ставятся ниже их, на крайне низкие позиции, часто за пределами топ 20.

По версии DxOMark, S21 и S21+ снимают хуже позапрошлогоднего Galaxy Note 10+ и китайского TCL 20 Pro, который даже не метит во флагманы. Его сенсор 48 Мп по размерам меньше, чем в S21 матрица 12 Мп, а вспомогательные камеры представлены двумя заглушками по 2 Мп

Ни о какой хотя бы частичной правде речи здесь не идёт. На наш взгляд, авторы рейтинга искусно манипулируют мнением пользователей, грамотно создавая иллюзию объективного, комплексного теста камер.

Помогает им в этом, среди прочего, созданная ими же система формирования итоговой оценки. В ней есть категории, внутри которых находятся подкатегории, оцениваемые десятками и сотнями баллов. Такой большой разброс цифр оставляет создателям внушительный простор для субъективного начисления этих самых баллов и позволяет ими гибко маневрировать от случая к случаю.

Система помогает победить «правильным» смартфонам, подтягивая оценку до необходимого победоносного значения. Параллельно авторы топят в критике позиции смартфонов тех компаний, которые с DxOMark не сотрудничают.

Камера флагманов Mate 40 Pro действительно впечатляла, предлагая основной модуль с пикселями RYYB, огромный сверхширокоугольный сенсор, оптику Leica и прочие особенности

Во времена, когда лидерами DxOMark становились флагманы Huawei, это, возможно, было не так заметно. Потому что «подтягивать» Huawei до лидерских позиций нужно было лишь немного. Камеры в её флагманских смартфонах и без подсуживания часто могли выдавать весьма сильные результаты, а в некоторых аспектах и вовсе не имели аналогов.

В 2021 году, когда Huawei уходит в тень из-за санкций, DxOMark начал переориентироваться на более тесное сотрудничество с другими китайскими компаниями. И теперь именно из них будет делать образ абсолютных лидеров, уверенно обходящих топовые iPhone и Galaxy. Словно хорошего спортсмена кто-то пытается поднять ещё выше и выдать за настоящего олимпийского чемпиона.

Впрочем, как уже показывает пример Mi 11 Ultra, для DxOMark ситуация становится немного опасной. Ведь в правдоподобности таких рейтингов могут засомневаться даже те, кто вполне верил в них раньше.

—————————————–
P. S. Что касается Xiaomi, то компания уверенно растёт, развивается и, судя по всему, в ближайшие годы своими флагманами по-настоящему сможет биться за звание лучших камерофонов на рынке. Однако конкретно сейчас, по нашему мнению, DxOMark лишь выдаёт желаемое за действительное.