1.4. От анализа к прогнозной модели
(Валидизация методом экспертного опроса – Оптимизация системы показателей – Тестирование модели в построении временных рядов – Проблемы и ограничения в применении прогнозной модели)
Частичная валидизация модели динамики интеграции была также требовала проверки не только релевантности и измеримости выбранных показателей, но и оценки значимости факторов со стороны внешнего, независимого от исследовательской группы источника.
В качестве метода такой валидизации был выбран полуформализованный экспертный опрос модераторов и администраторов 45 сообществ мобилизационного типа в сетях «ВКонтакте» и «Facebook» в онлайн формате. Отбор экспертов происходил методом стратифицированной выборки: отбиралось равной количество экспертов из групп разной численности (малой, средней и крупной), разного географического охвата (локальные, региональные, общероссийские, включая общероссийские с международным охватом), разные по тематике и направлению мобилизации (на коллективные действия онлайн, коллективные действия оффлайн, индивидуальные действия онлайн и оффлайн). Экспертам было предложено обозначить, выделить и оценить наиболее значимые признаки и факторы интеграции в администрируемых группах, а также оценить динамику развития своего сообщества.
Полученные данные показали значительную степень согласованности при оценке значимости признаков, выделенных на первом этапе исследования. Несогласованность оценок проявилась только по показателям роли модераторов/администраторов сообщества (модераторы оценили эту роль значительно выше экспертов) и по показателям значимости внешних для сообщества факторов – интерфейс платформы, резонансные события и т.д., оценив их ниже, чем эксперты – см. Табл. 1-2.
Таблица 1. Оценка значимости количественных критериев динамики интеграции в представлениях внутренних и внешних экспертов
| Эксперты-модераторы (баллы от 0 до 10, средний балл) | Внешние эксперты-наблюдатели (веса в иерархической модели интеграции) | |
| Рост активности участников в общении в группе | 7,48 | 0,0462 |
| Рост сплоченности группы, групповой солидарности | 6,98 | 0,0429 |
| Рост активности в офф-лайне (участие в мероприятиях, акциях и т.д.) | 6,84 | 0,0429 |
| Уровень активности в распространении информации за пределы группы (репосты) | 6,81 | 0,0165 |
| Количественный рост группы | 6,71 | 0,0297 |
| Рост интереса к группе со стороны других групп и сообществ | 6,5 | не измерялось |
Таблица 2. Оценка значимости факторов интеграции со стороны внутренних и внешних экспертов
| все эксперты (баллы от 1 до 10, средний балл) | веса в иерархической модели интеграции | Внутренний рейтинг | Внешний рейтинг | |
| Успешность совместных действий участников группы] | 7,52 | 0,138 | 1 | 1 |
| Грамотное модерирование новостной ленты и дискуссий] | 7,29 | 0,0429 | 2 | 7 |
| Личный авторитет руководителя/администратора/модератора группы] | 7,04 | |||
| Особенности тематики сообщества – оригинальность, новизна темы, актуальность и острота решаемых проблем и т.д.] | 7,02 | 0,066 | 3 | 3 |
| Взаимное доверие участников группы] | 6,7 | 0,0297 | 4 | 10 |
| Количество участников, способных производить интересный для других контент] | 6,3 | 0,0513 | 5 | 6 |
| События, которые происходят в жизни (города, региона, страны, мира)] | 5,62 | 0,0528 | 6 | 5 |
| Активность, которую участники проявляют в социальных сетях – в других группах, на своих страницах] | 5,45 | не измерялось | 7 | – |
| Личное знакомство участников друг с другом] | 5,32 | не измерялось | 8 | |
| Степень социальной и культурной однородности участников] | 5,19 | 0,0396 | 9 | 9 |
| Особенности интерфейса конкретной социальной сети (ВКонтакте, Facebook)] | 5,02 | 0,0594 | 10 | 4 |
| Наличие большой доли участников, подписанных в социальной сети друг на друга/находящихся в отношениях дружбы в социальной сети] | 4,73 | 0,0741 | 11 | 2 |
| Финансовое обеспечение деятельности группы] | 4,38 | 0,0429 | 12 | 7 |
| Источник внешней угрозы, провокаций и/или неприязнненного отношения извне] | 4,14 | 0,0399 | 13 | 8 |
| Изменения законов, правил, регулирующих Интернет-коммуникации в целом] | 3,79 | 0,0528 | 14 | 5 |
Валидизация эмпирической модели динамики интеграции онлайн-сообществ мобилизационного типа в целом показала, что система признаков и их иерархия, выделенные в ходе включенного наблюдения за поведением сообществ с последующим иерархическим анализом, соответствует представлениям основных акторов о критериях и факторах интеграции. Выявленные различия в оценках значимости критериев и факторов интеграции со стороны внутренних и внешних экспертов, с одной стороны, связаны с особенностями позиции наблюдателей (например, внутренние эксперты не могут оценить влияние фактора особенностей Интернет-платформы, а внешние – факторы усилий модератора по развитию сообщества), а, с другой – являются основанием для развития теоретико-методологической модели объекта.
В частности, очевидно, что взгляд на динамику сообщества «изнутри» определяется восприятием актора сообщества как традиционной социальной группы, характеризующейся отчетливой внутренней и внешней идентичностью, ресурсом взаимного доверия, отчетливой ролевой структурой, включая ярко выраженные лидерские роли. А взгляд «извне» может, с одной стороны, недооценивать эти свойства сообщества как группы, но, с другой стороны – в большей степени фокусируется на сетевых свойствах сообществ, таких, как количество информационных узлов, объем и плотность сети и т.д.
На основании результатов статистической валидизации и валидизации методом экспертного опроса была откорректирована вся система используемых показателей. Для корректировки модели, во-первых, были исключены из перечня факторов те признаки, которые имели минимальный вес, но требовали громоздких процедур измерения. При этом некоторые признаки, которые не могут быть измерены в силу недоступности данных, но оцениваются как важные, были сохранены – например, фактор финансирования сообщества.
Была также предпринята повторная процедура взвешивания факторов (см. раздел 2 Главы 1). Результаты предшествующего статистического анализа, мнения внешних экспертов позволили экспертам пересмотреть некоторые свои представления о роли факторов. В частности, это произошло в оценке факторов лидерства и значимости внешних факторов. Факторы были также перегруппированы и категорированы по группам «структурные» и «функциональные» – см. Рисунок 1.
Рисунок 1. Основные факторы интеграции онлайн-сообществ мобилизационного типа (окончательная модель)
С учетов весов конкретных эмпирических показателей процесса общая модель выглядит следующим образом.
Таблица 3. Эмпирическая модель факторов интеграции с указанием веса (окончательная)
| Факторы интеграции | Веса по ветке | ||
| 1 | |||
| A1 :Структурные факторы | 0,48 | ||
| A1 :Уровень сплочённости | 0,1728 | ||
| A1 :Аутгрупповая враждебность | 0,057024 | ||
| A2 :Внутривидовая дискриминация | 0,012096 | ||
| A3 :Доля авторов, публикации которых набирают влияние верхнем квартиля | 0,024192 | ||
| A4 :Модулярность сети | 0,036288 | ||
| A5 :Среднее недельное количество публикаций, не имеющи | 0,013824 | ||
| A6 :Средняя длина пути между участниками | 0,029376 | ||
| A2 :Динамика объёма сообщества | 0,0528 | ||
| A1 :Абсолютный прирост за неделю | 0,020064 | ||
| A2 :Относительный прирост за неделю | 0,032736 | ||
| A3 :Уровень доверия | 0,0672 | ||
| A1 :Взаимодействие в оффлайн | 0,032256 | ||
| A2 :Плотность сети (количество друзей) | 0,02352 | ||
| A3 :Транзитивность (отношение дружбы с друзьями друга) | 0,010752 | ||
| A4 :Объём сообщества | 0,0384 | ||
| A1 :Количество участников | 0,0384 | ||
| A5 :Особенности лидерства | 0,0816 | ||
| A1 :Доля постов от админов, отмечающих отдельных участников | 0,022032 | ||
| A2 :Распределение количества лайков по авторам (кварти | 0,009792 | ||
| А3 :Количество авторов публикаций, набирающих число просмотров (для Вк) и лайков, входящих в верхнюю дециль распределения просмотров и лайков | 0,00816 | ||
| A4 :Количество реакций (лайков, комментариев) от лица администраторов на публикации членов группы в неделю | 0,008976 | ||
| A5 :Доля публикаций от имени группы – степень группово | 0,021216 | ||
| A6 :Центральность участников (сколько коммуникационных узлов?) | 0,011424 | ||
| A6 :Особенности участников (однородность) | 0,0672 | ||
| A1 :Гомофилия (предпочтение образовывать дружеские свя | 0,0672 | ||
| A2 :Функциональные факторы | 0,33 | ||
| A1 :Объём внешних коммуникаций | 0,0198 | ||
| A1 :Количество входящих репостов из новостной ленты | 0,00297 | ||
| A2 :Количество исходящих репостов из новостной ленты | 0,010692 | ||
| A3 :Отношение количества входящих репостов к количеств | 0,006138 | ||
| A2 :Объём внутренних коммуникаций | 0,0528 | ||
| A1 :Количество просмотров публикаций в ленте за неделю | 0,004752 | ||
| A2 :Количество комментариев в основной ленте за неделю | 0,01584 | ||
| A3 :Количество комментариев на одного участника за вес | 0,019536 | ||
| A4 :Количество лайков на одного участника | 0,0132 | ||
| A3 :Мобилизационный потенциал | 0,1122 | ||
| A1 :Географический разброс/локализация действий | 0,004488 | ||
| A2 :Количество результативных внешних коллективных дей | 0,031416 | ||
| A3 :Наличие инструкции к тому, как действовать в опред | 0,015708 | ||
| A4 :Доля мотивирующих (с использованием одного из ключевых слов) | 0,014586 | ||
| A5 :Среднее количество участников оффлайновых мероприя | 0,020196 | ||
| A6 :Частота оффлайновых действий (среднее количество) | 0,01683 | ||
| A7 :Количество репостов в ответ на просьбу о репосте | 0,010098 | ||
| A4 :Стадия жизненного цикла группы | 0,0462 | ||
| A1 :Возраст группы | 0,0462 | ||
| A5 :Особенности тематики и целей группы | 0,066 | ||
| A1 :Доля собственного/привлечённого материала | 0,01188 | ||
| A2 :Степень соответствия тематики публикации заявленны | 0,01188 | ||
| A3 :Степень конкретности/достижимости целей группы | 0,02376 | ||
| A4 :Степень узости/широты тематики | 0,00726 | ||
| A5 :Средняя доля материалов со ссылками на зарубежный | 0,00396 | ||
| A6 :Тематическая мода | 0,0066 | ||
| A6 :Стилистические и языковые особенности коммуникаций | 0,0297 | ||
| A1 :Доля эмоционально воздействующего контента (по ключевым словам и эмодзи) | 0,00891 | ||
| A2 :Доля публикаций фото/видео в неделю | 0,003564 | ||
| A3 :Доля постов, в которых использованы хэштеги | 0,004158 | ||
| A4 :Собственный язык общения группы | 0,008613 | ||
| A5 :Длина постов в среднем | 0,002079 | ||
| A6 :Длина комментариев (среднее количество слов) | 0,002673 | ||
| A3 :Внешние факторы | 0,19 | ||
| A1 :Особенности программно-технической платформы | 0,0627 | ||
| A1 :Общение в сети “Вконтакте” или Facebook | 0,0627 | ||
| A2 :Политико-правовые аспекты | 0,0323 | ||
| A1 :Новые законы, регулирующие Интернет-активность | 0,005814 | ||
| A2 :Новые законы, регулирующие социальную активность в | 0,013889 | ||
| A3 :Резонансные политические или иные события | 0,012597 | ||
| A3 :Финансовые аспекты | 0,0969 | ||
| A1 :Источники и объёмы финансирования группы | 0,0969 | ||
Последующий сбор данных также осуществлялся как в автоматизированном, так и в ручном режиме. Однако ряд качественных факторов в результате квантификации удалось перевести из ручного сбора в автоматический.
Поскольку период наблюдения с применением всех трех инструментов (автоматизированный контент-анализ стены группы, сетевой анализ, ручной контент-анализ стены группы) вырос до 1 года, собранные данные позволили осуществить анализ временных рядов уже на полном массиве данных.
Поскольку доступ к данным из сообществ в Facebook в ходе реализации проекта оказался практически невозможным, прогнозные модели были протестированы на группах в сети ВКонтакте. Ниже представлены основные результаты анализа.
Анализ временных рядов динамики показателя интеграции интернет-сообществ
Временной ряд или ряд динамики – это последовательность значений характеристики изучаемого явления во времени. Он существенно отличается от статистической выборки данных, потому что в его природе исследуется зависимость в изменении явлений во времени, а не только зависимости между элементами выборки[1]
Проблемы анализа изменений значений характеристик систем во времени изучаются в рамках математической статистики, анализа временных рядов и эконометрики.[2]
Главной задачей анализа временных рядов[3] является установление зависимости вида (1):
[1] Шмойлова Р. А. Общая теория статистики: Учебник. — М.: Финансы и статистика, 2002.
[2] Афанасьев В. Н., Юзбашев М. М. Анализ временных рядов и прогнозирование: Учеб. пособие. — М.: Финансы и статистика, 2001. — 228 с
[3] (Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов / Под ред. проф. Н.Ш. Кремера. – М.: ЮНИТИ-ДАНА, 2002. – 311 с.)
Результаты анализа рядов динамики показателя интеграции интернет-сообществ.
Рассмотрим модель временного ряда динамики группы «Альянс гетеросексуалов и ЛГБТ за равноправие»
[1] Шмойлова Р. А. Общая теория статистики: Учебник. — М.: Финансы и статистика, 2002.
[1] Афанасьев В. Н., Юзбашев М. М. Анализ временных рядов и прогнозирование: Учеб. пособие. — М.: Финансы и статистика, 2001. — 228 с
[1] (Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов / Под ред. проф. Н.Ш. Кремера. – М.: ЮНИТИ-ДАНА, 2002. – 311 с.) [1] Бахрушин В. Е. Методы оценивания характеристик нелинейных статистических связей // Системные
Коэффициент детерминации R2 показывает какая доля отклонений зависимой переменной объясняется уравнением регрессии[1].
F тест проверяет равенство дисперсий двух выборок случайных величин[2]. Если значение F статистики больше критического для заданного объема выборок, то равенство дисперсий отвергается, а это в свою очередь говорит о том, что две выборки случайных величин не коррелируют друг с другом. В случае анализа временных рядов необходимо, чтобы остатки et в регрессионной модели были представлены независимой гауссовской случайной величиной (белый шум)[3].
[1] Бахрушин В. Е. Методы оценивания характеристик нелинейных статистических связей // Системные технологии. — 2011. — № 2(73). — С. 9—14.
[2] Snedecor, George W. and Cochran, William G. (1989), Statistical Methods, Eighth Edition, Iowa State University Press.
[3] Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов / Под ред. проф. Н.Ш. Кремера. – М.: ЮНИТИ-ДАНА, 2002. с. 61
[1] Durbin, J.; Watson, G. S. (1950). “Testing for Serial Correlation in Least Squares Regression, I”. Biometrika. 37 (3–4): 409–428. doi:10.1093/biomet/37.3-4.409, Durbin, J.; Watson, G. S. (1951). “Testing for Serial Correlation in Least Squares Regression, II”. Biometrika. 38 (1–2): 159–179. doi:10.1093/biomet/38.1-2.159
[1] Legendre, On Least Squares. Translated from the French by Professor Henry A. Ruger and Professor Helen M. Walker, Teachers College, Columbia University, New York City. http://web.archive.org/web/20110107112250/http://www.stat.ucla.edu/history/legendre.pdf
| Дата | уровень интеграции | тренд | ошибка | Относительная ошибка | |
| 1 | 2020-12-01 | 16272,39 | 17330,42 | -1058,03 | 4,32% |
| 2 | 2021-01-01 | 26068,56 | 15958,3 | 10110,25 | 41,26% |
| 3 | 2021-02-01 | 41063,96 | 17325,2 | 23738,76 | 96,88% |
| 4 | 2021-03-01 | 14715,62 | 19852,06 | -5136,45 | 20,96% |
| 5 | 2021-04-01 | 2350,577 | 12873,09 | -10522,5 | 42,94% |
| 6 | 2021-05-01 | 474,9155 | 9067,037 | -8592,12 | 35,06% |
| 7 | 2021-06-01 | 611,9258 | 7633,234 | -7021,31 | 28,65% |
| 8 | 2021-07-01 | 734,4193 | 6629,16 | -5894,74 | 24,06% |
| 9 | 2021-08-01 | 1174,423 | 5590,263 | -4415,84 | 18,02% |
Критерий Дарбина-Уотсона d=1,92 автокорреляции в остатках нет, модель может быть использована для прогноза, средняя относительная ошибка прогноза по данным за 9 месяцев = 34,68%
В данном примере видно (уравнение 1), что имеется зависимость в виде отложенного на 1 период воздействия предыдущего уровня интеграции на уровне 23% положительного вклада предыдущего уровня интеграции. Долговременная тенденция проявляется в виде параболы с лучами направленными в низ – т.е. имело место максимальное развитие интеграционных процессов в середине периода обучения.
Зеленый паровоз
| Уровень интеграции | Тренд | Остатки | Ошибка | ||
| 1 | 2021-01-01 | 457,9584 | 531,1782 | -73,2198 | 12,01% |
| 2 | 2021-02-01 | 760,1541 | 480,9725 | 279,1816 | 45,80% |
| 3 | 2021-03-01 | 515,3875 | 483,3861 | 32,00131 | 5,25% |
| 4 | 2021-04-01 | 422,4835 | 494,3826 | -71,8991 | 11,80% |
| 5 | 2021-05-01 | 361,5882 | 464,1093 | -102,521 | 16,82% |
| 6 | 2021-06-01 | 375,8744 | 462,1396 | -86,2652 | 14,15% |
| 7 | 2021-07-01 | 368,4773 | 480,4271 | -111,95 | 18,37% |
| 8 | 01,08,2021 | 344,6118 | 509,0421 | -164,43 | 26,98% |
Критерий Дарбина-Уотсона d=1,93 автокорреляции в остатках нет, модель может быть использована для прогноза, средняя относительная ошибка прогноза по данным за 8 месяцев = 18,9%
В данном примере видно (уравнение 2), что имеется зависимость в виде отложенного на 1 период воздействия предыдущего уровня интеграции на уровне 16% положительного вклада предыдущего уровня интеграции. Долговременная тенденция проявляется в виде гиперболы с положительным коэффициентом при старшем члене – т.е. имело место замедление интеграционных процессов в середине изучаемого временного интервала. Возможно последующее нарастание интеграционных процессов.
Лига(лыжи) мечты
| № | Дата | Интеграция | Тренд | Остатки | Ошибка |
| 1 | 2021-04-01 | 139,1627 | 92,8258 | 46,33689 | 35,49% |
| 2 | 2021-05-01 | 136,5078 | 86,4555 | 50,05234 | 38,34% |
| 3 | 2021-06-01 | 120,2289 | 79,8294 | 40,39947 | 30,95% |
| 4 | 2021-07-01 | 73,42065 | 72,9475 | 0,473145 | 0,36% |
| 5 | 2021-08-01 | 47,62405 | 65,8098 | -18,1857 | 13,93% |
| 6 | 01.09.2021 | 39,55034 | 58,4163 | -18,866 | 14,45% |
| 7 | 01.10.2021 | 39,66926 | 50,767 | -11,0977 | 8,50% |
Критерий Дарбина-Уотсона d=2,23 автокорреляции в остатках нет, при использовании модели для прогноза, средняя относительная ошибка прогноза по данным за 7 месяцев составила 20,29%
Поборы в школах и детсадах
| Уровень интеграции | Тренд | Остатки | Ошибка | ||
| 2020-12-01 | 1 | 142285,6 | 113282,8 | 29002,79 | 25,66% |
| 2021-01-01 | 2 | 110951,5 | 117522,2 | -6570,71 | 5,81% |
| 2021-02-01 | 3 | 43040,02 | 96791,67 | -53751,6 | 47,55% |
| 2021-03-01 | 4 | 77804,27 | 53115,07 | 24689,2 | 21,84% |
| 2021-04-01 | 5 | 46499,2 | 73763,86 | -27264,7 | 24,12% |
| 2021-05-01 | 6 | 87397,89 | 52983,77 | 34414,12 | 30,44% |
| 2021-06-01 | 7 | 66368,71 | 77431,98 | -11063,3 | 9,79% |
| 2021-07-01 | 8 | 50350,49 | 63046,78 | -12696,3 | 11,23% |
| 2021-08-01 | 9 | 66052,98 | 51779,46 | 14273,53 | 12,63% |
| 2021-09-01 | 10 | 34526,07 | 60369,27 | -25843,2 | 22,86% |
| 01.10.2021 | 11 | 2312,913 | 39337,37 | -37024,5 | 32,75% |
Университетская солидарность
| Дата | Уровень интеграции | Тренд | Разница | Ошибка прогноза | |
| 1 | 01,04,2021 | 45,19925696 | 48,53785149 | -3,338594529 | 7,22% |
| 2 | 01,05,2021 | 49,0541363 | 48,48775298 | 0,566383326 | 1,22% |
| 3 | 01,06,2021 | 46,65859084 | 48,01806536 | -1,359474517 | 2,94% |
| 4 | 01,07,2021 | 39,44080428 | 47,05429671 | -7,613492428 | 16,46% |
| 5 | 01,08,2021 | 42,68161275 | 45,51789267 | -2,83627992 | 6,13% |
| 6 | 01,09,2021 | 38,80223051 | 43,32623655 | -4,524006031 | 9,78% |
| 7 | 01,10,2021 | 36,889696 | 40,39264921 | -3,50295321 | 7,57% |
Критерий Дарбина-Уотсона d= 2,034465005 автокорреляции в остатках нет, при использовании модели для прогноза, средняя относительная ошибка прогноза по данным за 7 месяцев составила 7,33%
Все представленные прогнозы на полном объеме данным за 1 год показали, что модель динамики интеграции в целом является работающей, и она может быть использованы при оценке динамики и прогноза любого другого сообщества мобилизационного типа, организующегося в социальных сетях.
Также все представленные модели показывают нисходящий тренд в интеграции всех групп, по сравнению с трендами за предыдущие года. Для интерпретации этого результата нужна дополнительная информация. Гипотетически одна их причин может состоять в том, что социальная сеть «ВКонтакте» теряет свою популярность. Отчасти этот нисходящий тренд может объяснять также вхождением изучаемых групп в соответствующий, нисходящий этап жизненного цикла.