Григорий Асмолов (pustovek) wrote,
Григорий Асмолов
pustovek

Category:

"Разоблачение" "Карты Нарушений" и механизмы достоверности в краудсорсинге.

Про историю вокруг «Карты нарушений» сказано многое, но есть определенный факт с которым спорить сложно. «Карта Нарушений» показывает значительность роли краудсорсинговых проектов, в особенности, когда у них есть серьезная информационная поддержка. «Карта нарушений» безусловно стала одним из знаковых и резонансных событий этих выборов. Ее создателей, «Газету.ру» и «Голос» стоит с этим поздравить.

При этом на фоне успеха проекта, стоит отдельно выделить его самое уязвимое место – достоверность информации. Достоверность важна не только потому что мы хотим как можно более достоверную информацию, но и потому что эта уязвимость используется для делегитимации проекта, делегитмации ее создателей и делегитимации попыток раскрыть нарушения в целом.

Яркий пример уязвимости краудсорсинговых систем, в данном случае «Карты нарушений» – это ролик, сделанный видимо сторонниками «ЕР», «Наших» и пр. Мне кажется этот ролик, отличный предмет для анализа, и создатели «Карты Нарушений» должны быть только рады, тому что он появился. Давайте, проанализируем этот ролик, и поговорим о том как можно улучшить уровень достоверности и механизмы модерации в краудсорсинговых системах (конечно, нельзя исключить вариант, что телефонный разговор в ролике – это инсценировка, но это не мешает анализу).


Прежде всего давайте определим что такое модерация в краудсорсинговых системах. Модерация в краудсорсинге – это снижение вероятности недостоверности информации.


Что это значит – Вы никогда не можете гарантировать 100 процентов достоверности информации. Сделать задачу проверки ответ на вопрос «Правда или не правда» неверно, потому что нереальные цели рождают неправильные стратегии и ложные ожидания. То что можно, это применить комплекс различных мер, которые в совокупности повышают уровень достоверности, как через повышение вероятности достоверности информации, так и создание правильных ожиданий у ее потребителей.

Дилемма, с которой сталкивается любой создатель крадусорсинговой системы – это что большое количество мер, требует большее кол-во ресурсов, больше людей и больше времени. Кроме того, дополнительные механизмы достоверности могут в некоторой мере снизить процент участия и кол-во полученных сообщений. Создатели «Карты Нарушений» решили эту проблему по сценарию минимальных ресурсов и минимальных требований к тем, кто посылает информацию.
Система снижения недостоверности информации «Карты Нарушений» включает несколько элементов:
1. Проверка информации через журналистов – это наиболее существенный элемент. В принципе, краудсорсинговые проекты всегда наиболее эффективны если они работают в симбиозе с традиционными СМИ. Задача платформы – это позволить получить сигнал. Задача журналиста, выбрать наиболее интересные/ существенные сигналы и использовать свои профессиональные навыки чтобы его проработать, то есть проверить и превратить в историю. Проблема этого механизма в том, что во первых, «профессиональной обработке» подвергается очень мало «сигналов». Кроме того, с точки зрения потребителей платформы, тот факт, что наиболее интересные сигналы превращаются в истории явно не достаточен, потому что если человек уже смотрит на информацию «Карты», то ему хочется чтобы большинство сообщений были с высокой вероятностью достоверны.
2. Надежда на правоту большинства – концепция достоверности краудсорсинговых платформ может базироваться на предположение, что даже если на платформу будут приходить ложные сообщение, абсолютное большинство сообщений будет достоверно. То есть даже если есть группа людей, которые хотят дискредитировать платформу, в краудсорсинговой системе «большинство побеждает зло». Такое предположение относительно неплохо работает в краудсорсинговых платформах для кризисных ситуациях (ну сколько народу захочет сообщать неверную информацию о наводнениях или пожарах). Но эффективность такого предположения в контексте выборов более чем спорна так как в отличие от кризисных ситуациях, пропорция мотивации на саботаж против искренних мотиваций для участия, намного выше в пользу саботажа.
3. Дисклеймер – четкое сообщение что сайт не может гарантировать достоверность информации (или в более радикальном варианте, что информации не проверяется). Такой дисклеймер должен быть всегда, потому что 100-процентно достоверной информации не бывает и надо создать правильные ожидания потребителей информации, чтобы избежать кризиса доверия к платформе. Но с другой стороны, этот механизм не повышает никак вероятность достоверности, а работает только с ожиданиями потребителей.
4. Фотографии – прикрепление фото и видео материалов резко повышают достоверность (хотя и могут быть тоже средством манипуляции). «Карта Нарушений» это позволяет, однако фотографии используются в относительно малой части сообщений. Функция фото работает более эффективно с мобильными приложениями, так как инструмент отправки сообщения и инструмент фото является одним аппаратом.

Из этих механизмов, только первый требует ресурсов. Как мы видим в ролике, сочетание этих механизмов не помогает карте избежать простых методов саботажа, а также быть обвиненной в манипуляции информацией. Вместе с тем, ролик помогает идентифицировать ряд дополнительных механизмов, которые могли бы затруднить работу создателей ролика и повысить вероятность достоверности информации. Часть из них не требует дополнительных ресурсов/ средств/ времени.


Геолокация – в ролике явно показано, с одной стороны важность геолокации, с другой стороны как опасно относиться к ней безответственно. Существование населенного пункта, а также района и улицы - это базисный критерий достоверности. Геолокационные краудсорсинговые платформы не терпят неточности. С другой стороны, проблема в том, что многие населенные пункты РФ просто не отражены на картах. Как я понимаю «Карта Нарушений» использует в первую очередь «Гугл», но возможность переключаться на «Яндекс» и главное “Open Street Map” позволяла бы большую точность в отмечание мест. Кроме того, функция «Отметить место на карте», вообще в анкете отсутствует.

Информация только для редакции – далеко не обязательно публиковать имя, фамилию и.т.п. Но собирать эту информацию модераторами для внутреннего использования очень важно, хотя бы потому что это облегчит дополнительное расследование для журналистов. На самом деле, такая функция есть и на «Карте Нарушений», но как видно в ролике (если это не инсценировка), оператор/ модератор горячей линии не настаивает на получение информации только для редакции, и сама анкета включает только одно поле, что позволяет заполнить информацию лишь частично.

Использование идентичностей с других сайтов для отправления сообщения (Facebook/ ЖЖ). Это также повышает вероятность достоверности, потому что можно посмотреть кто скрывается за сообщением. ЖЖ не обязательно должно содержать реальное имя, но можно сформировать какое то понимание о человеке, а заодно определить не бот ли он, что относительно легко. Можно не требовать обязательное использование какой то формы сетевой идентификации, но тем кто хочет, надо представить такую возможность (и тем самым повысить вероятность достоверности).

Работа модераторов - В ролике мы видим, что по всей видимости, модератор (если это не инсценировка) не задает особо вопросов о деталях нарушения и не пытается извлечь больше информации. Это конечно зависит от установки, которая дается модератору. Но конечно телефонный разговор, это не только «прием» информации, а и механизм ее оценки. Если сообщение приходит через Интернет, то можно перезванивать сообщателю, чтобы получить больше деталей. Вообще, кажется, в «Карте Нарушений» было принято решение сделать уровень модерации минимальным, сведя его к приему информации.

Разделение сетей «сообщателей» – это практика известна как “bounded crowdsourcing”. В ситуациях когда вероятность попыток обмануть систему высока, краудсорсинговые платформы используются для ограниченной сети проверенных источников. То есть не обязательно что имя человека опубликовано, но его личность известна редакции или он был кем-то порекомендован. Опять же, это не гарантия достоверности, но это повышает ее вероятность. Ограниченную сеть и открытую можно использовать в рамках одной платформы. Пример: комментарии на “Эхо Москвы” где есть “Клуб Эха”. Просто сообщения из “сети доверия” и общей сети должны публиковаться в разных колонках или просто быть по-разному маркированы.

Маркировка - Достаточно просто решение это маркировка сообщений, которая означает степень проверки и как следствие степень доверия модераторов/ редакции. В «Ушахиди» например есть статусы «Проверено»/ «Не проверено». Мне это не очень нравится, потому что я предпочитал бы статусы отражающие степень доверия. Например, «Высокая степень достоверности» и «Не возможно определить уровень достоверности», ну и «Не проверено» конечно.

«Фолоу ап» – механизмы, которые позволяют проследить развитие истории с момента первой информации (например, если подана жалоба). Эти принципы используют такие сайты как Росяма и Демократор.

Крауд-оценка - Оценка информации другими читателями и использование краудсорсинга/ сети доверия для оценки информации. Краудсорсинговая платформа может с точки зрения механизмов достоверности работать как «Википедия», когда другие пользователи могут высказывать свое мнение о достоверности. Наиболее эффективно это может работать с «сетью сообщателей» когда у вас есть определенная сеть, и вы знаете, где живут те кто находятся в этой сети. В тот момент, когда вы получаете сообщение из региона Н, то сообщение посылается на оценку всем членам сети, живущим в этом регионе. Другой пример, это закрытая группа в Skype, которая работала во время событий в Кыргызстане, объединяя журналистов, блоггеров и.т.п. где все обсуждали достоверность тех или иных сообщений.

Мобильная геолокация – в случае когда для краудсорсинга используется приложение для смартфона с функцией GPS, то дополнительным фактором проверки становится геолокация.

Технические средства проверки – более сложные методы могут также включать например сравнение IP и место о котором поступает сообщение (хотя это далеко не всегда может соответствовать). Более подробно, различные технические алгоритмы проверки представлены в системе Swiftriver. “SwiftRiver” – это аггрегатор контента основанный на алгоритмах позволяющих фильтрацию и определение индекса достоверности в реальном времени. Программа включает семантический анализ, геолокация новости, анализ репутации источника и достоверности информации, анализ соотношения информации из различных источников. Вместе с тем, стоит отметить, что работают над Swiftriver давно, но ярких примеров его эффективности я не очень видел.

О дополнительных механизмах и примерах можно почитать в замечательной статье Патрика Меера «Verifying Crowdsourced Social Media Reports for Live Crisis Mapping: An Introduction to Information Forensics» - скачать можно тут: http://irevolution.net/2011/11/29/information-forensics-five-case-studies/

Таким образом, задача краудсорсинговых платформ, это включать в свою архитектуру как можно больше различных механизмов позволяющих повысить вероятность достоверности информации и облегчить дополнительную работу модераторов для проверки достоверности. Однако, как бы не была продвинута система проверки информации, необходимо также правильно позиционировать краудсорсингвые платформы, давая понять что 100 процентов достоверности невозможно, и таким образом предотвращая кризис доверия, в случае если какое то сообщение окажется неверным. Иными словами, в краудсорсинговых платформах, помимо ответственности на платформе и ее модераторах, есть также ответственность на потребителях информации, которые или должны проверять информацию (если она для них критична) или просто на базе здравого смысла решать чему они готовы доверять, а чем нет. То есть окончательная степень достоверности, все равно определяется каждым потребителем краудсорсинговой информации самостоятельно, относительно конкретного сообщения;

И под конец еще несколько слов про ролик. Мне кажется один из самых «сильных» в нем моментов это сравнение красных точек на картах с сыпью. Это потрясающая по своей силе подмена. Болезнью называют не коррупцию, нарушения, кризисы, а попытки нарисовать реальную картину происходящего. Но в какой то степени, ведь на самом деле краудсорсинг это механизм поставить диагноз в масштабе одного государства. Каждая карта своего рода анамнез.

И еще раз отдельное спасибо создателям ролика за учебное пособие которое надеюсь поможет в будущем делать краудсорсинговые проекты более эффективными.
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 8 comments