Маркетинговые исследования: записки рисёчера
ГЛАВНАЯОб автореКарта сайтаПарето-поискКонтакты

2 варианта премии для comScore


Рубрики: comScore, Исследования в мире, Исследования СМИ, Онлайн-исследования

Уже довольно длительное время я с удивлением наблюдаю за победными реляциями компании comScore, упорно меряющей количество российских пользователей интернета.

Так, в ноябре 2007 года, обнаруживши в России 14,6 миллионов пользователей интернета, представители comScore горделиво написали в пресс-релизе с результатами исследования:

«comScore, Inc. is a global leader in measuring the digital world. This capability is based on a massive, global cross-section of more than 2 million consumers who have given comScore permission to confidentially capture their browsing and transaction behavior, including online and offline purchasing».

«comScore, Inc. — это мировой лидер измерений цифрового сообщества. Наше лидерство базируется на масштабной репрезентативной выборке, состоящей из более чем 2 миллионов потребителей, давших comScore согласие на конфиденциальное измерение их поведения в интернете, а также онлайновых и оффлайновых покупок».

Я так понимаю, что в описании речь идет о людях, уже подключившихся к интернету, что логично — если человек и знать не знает, что такое интернет, то вряд ли он даст согласие на «конфиденциальное измерение своего поведения в интернете», ведь так?

И очень меня занимает следующий вопрос: как с помощью выборки пользователей интернета, согласившихся установить на компьютер spyware от comScore, можно делать выводы о проникновении интернета в России да и вообще где бы то ни было, а?

Про оффлайновое же исследование (и его методологию) в России не упоминается ни на сайте comScore, ни в одном из пресс-релизов. Я даже письмо им написала — молчат 🙂

У меня есть по этому поводу два предположения. Первое — comScore заслуживает Нобелевской премии в области социологических и маркетинговых исследований, изобретя новый и очень таинственный метод подсчета национальной интернетизации. Это ж какой «прорыв» в мировой социологической науке и в мировом маркетинге, а?

Второе предположение — comScore тупо считает количество русскоязычных пользователей интернета, согласившихся участвовать в их международной панели, (кстати, никто случайно не видел баннер с призывами участвовать в панели comScore на Яндексе или Mail.Ru?), умножает это количество на некий неизвестный коэффициент и рисует красивые таблицы, имеющие мало общего с действительностью.

Этот вариант тянет на другую премию — Шнобелевскую. Хотя, лауреат этой премии в области химии Маи Ямамото ваниль из коровьего навоза получал — все больше проку, имхо 🙂

Ну а потом в интернет-сми начинаются причитания по поводу ангажированности и непрофессионализма ФОМа, TNS, Ромира, Комкона и любых других исследователей, стремящихся адекватно и, прошу заметить, в основном на свои собственные средства, померить проникновение интернета в России на базе нормального оффлайнового омнибуса/установочного/синдикативного исследования.

И ладно бы только СМИ, но ведь потом представителям крупных исследовательских центров идут возмущенные вопросы от клиентов — почему, мол, Вы 20 с лишним миллионов пользователей намерили, а «мировой лидер в цифровых измерениях» comScore — всего 14,6? Тьфу. В общем, «нет пророка в своем отечестве».

«По-французски и всем наукам обучает его немец Адам Адамыч Вральман. Этому по триста рубликов на год| Сажаем за стол с собою. Белье его наши бабы моют. Куда надобно — лошадь. За столом стакан вина. На ночь сальная свеча, и парик направляет наш же Фомка даром.» (С) Фонвизин.

Буду рада, если меня разубедят и comScore действительно делает нормальные оффлайновые исследования для определения проникновения интернета в России. Но даже если и так, все равно в описании исследований такого рода должна быть приведена минимальная информация о методологии исследования, а именно:

а) способ сбора информации,
б) выборка
в) сроки проведения полевых работ
г) формулировки вопросов в анкете.

Каким образом можно использовать цифры, полученные без указания этой информации, и зачем вообще такие цифры кому-нибудь нужны я не понимаю 🙁

10

комментариев


Метки:

Статьи на эту тему

Комментариев: 10

  2. Нет, самого отчета я не видела — только пресс-релиз и многочисленные упоминания в новостях. Так что у меня претензии скорее к методологии и пресс-релизу — а это уже другая тема.

    С нетерпением жду Вашей второй части про отчеты 🙂

  3. Меня взяло любопытство, вдруг комскор и правда что ценное придумал? Так что я повнимательнее порыскал по их сайту.

    И вот что нашел:

    Probability sampling is employed in recruiting netScore’s monthly random digit dialing
    (RDD) survey via Opinion Research Corporation’s Caravan© to enumerate the patterns of
    household composition, computer ownership and internet usage that co-occur (aggregated
    over latest 20 weeks, or 20,000 surveys). Probability sampling is also used in recruiting
    the netScore 45,000-plus person Calibration Panel. The Calibration Panel data are used to
    measure the incidence of key online usage behaviors for weighting and projecting the
    general netScore panel data.

    (стр.3)

    Так что, похоже, ни ту, ни другую премию комскор не заслужил. Хотя подход у них основательный, заслуживающий уважение (см., например, стр. 4).

  4. Разница в цифрах комскора и ФОМа все равно поражала. Так что я решил еще немного покопаться в их сайтах.

    Внимательный анализ выявил несколько важных различий в подходах нашего лучшего поллстера и коллег-американцев.

    Первое, юниверсумы. Комскор работает с домохозяйствами и меряет количество людей, имеющих постоянный выход в интернет из дома / с работы / из школы. ФОМ — просто люди и из любого места.

    Второе, временной период. Базовая цифра ФОМа — «пользовался хотя бы раз за 3 месяца». Комскор — «использовал постоянный домашний / рабочий / школьный канал за последнюю неделю». Это и понятно, так как Комскор ориентирован на создание и валидацию панели людей, которые установят программу слежения на свой компьютер. Такое действо имеет смысл только если (1) человек выходит в интернет преимущественно с одного, максимум — двух компьютеров и (2) делает это достаточно регулярно, а не случайно раз в месяц у друзей.

    Третье, организация исследования. У комскора — 20-недельные (!) роллинги. У ФОМа снэпшоты. Чтобы их корректно сопоставить, нужно брать не только последние ФОМовские данные, но и еще две предыдущие волны (и все равно получится неточно).

    Четвертое, — и возможно, главное, — метод. Random Digital Dialing (причем по домохозяйствам) — метод для России, очевидно, не лучший и дающий всем понятный скос. ФОМ — классический F2F, лучший из возможных в нашей стране.

    В общем, сравнивать их цифры напрямую смысла нет. Обе оценки могут быть вполне правдивыми и точными в своем контексте.

    Однако есть и интригующая находка. Если взять ФОМовскую цифру «за последнюю неделю», усреднить ее по трем последним волнам и умножить на долю городского населения в соответствующей возрастной группе — мы с очень хорошей точностью получим цифру комскора! (14,6 против 14,8). Совпадение? 🙂

  5. Саша, спасибо — Вам я отдаю третий вариант премии за самый подробный и интересный комментарий на моем блоге :))

    Но Вы уверены, что Комскор делает телефонники в России? Мне показалось, что в приведенном документе речь идет исключительно об описании американской выборки.

    Вот, к примеру, из того, что нашлось за несколько секунд — в Индии те же проблемы 🙂

    ComScore and IMAI data conflict on Cyber Indians

  6. Спасибо! 🙂

    Насчет комскора и телефонников в России — конечно, не уверен.

    Однако есть такая фраза в уже цитированном пресс-релизе:

    «This number marks the first worldwide universe estimate based on a consistent methodology across all countries.»

    Хотя это заявление, конечно, ничего не гарантирует.

    Дальнейшее разбирательство становится интересным, только если есть намерение купить комскоровский продукт, о чем я пока не задумывался. 🙂

    (Я, кстати, вообще ничего не слышал про их панель в России, хотя стараюсь следить за рынком. А Вы?)

  7. Я боюсь, что в пресс-релизе речь идет про World Metrix — это измерение поведения пользователей интернета и там действительно у них аналогичные методология и софт для всех.

    Насчет продукта «будем посмотреть» — я тоже про них на российском рынке ничего не слышала.

    Но есть реальная ситуация из жизни — у нас в клиентах было рекламное агентство, работавшее на международный бренд. Представители международного бренда активно пользовались Комскором, насколько я понимаю, причем не платными отчетами, а как раз данными из открытого доступа.

    И несоответствие данных тогда было проблемой, даже был конфликт на уровне «все ваши российские измерители вместе взятые, не стоят даже самой захудалой таблички от Комскор», все наши взывания к разнице в методологии услышаны не были, а представители РА оказались между двух огней. Так что проблема здесь на такая академическая, как кажется 🙂

  8. Светлана, вторая часть будет на следующей неделе — в ней постараюсь проиллюстрировать сами и собрать от пользователей иллюстрации с ошибками представления данных в отчетах.

    Остальные части статьи видимо будут значительно позже, т.к. меня попросили сделать на эту тему статью для журнала. Соответственно, на сайте все появится после журнала.

  10. Пока ограничусь статьей 🙂

    По условиям сотрудничества, я имею право выкладывать статью на своем сайте, сайте своей компании и использовать статью в качестве материала на конференциях, семинарах и т.п.