Сравнительный анализ больших языковых моделей для семантического анализа постов в телеграмм‐каналах

Современный технологический ландшафт характеризуется стремительной интеграцией искусственного интеллекта (ИИ). Наблюдается чёткий сдвиг инвестиций в сторону стартапов, предлагающих прикладные ИИ-решения, что свидетельствует о приоритете коммерциализации над фундаментальными исследованиями. Однако большинство компаний находятся лишь на стадии экспериментов, и демонстрация реальной экономической ценности ИИ остаётся сложной задачей.

В этих условиях актуальным становится глубокий анализ не только объёма, но и структуры спроса, а также той доли дискурса, которую ИИ занимает в коммуникациях технологических стартапов. Традиционные количественные метрики не позволяют раскрыть семантическое содержание и качественные характеристики этого спроса. Решение поставленной задачи видится в применении методов анализа семантических связей, которые позволяют выявить скрытые закономерности и тематические кластеры в больших массивах текстовых данных.

В данной работе для анализа дискурса ИИ применяется метод построения семантических связей в реляционной таблице с последующим её семантическим анализом. Этот подход, успешно использующийся при обработке крупных корпусов текстов, позволяет структурировать неоднородные данные и выявлять устойчивые смысловые связи между ключевыми концепциями. На основе такого анализа выводятся уникальные метрики, количественно характеризующие как объём, так и содержательное наполнение спроса на технологии ИИ. Данное исследование продолжает развитие методологии анализа больших текстовых данных для выявления бизнес-инсайтов. Например, кластеризация по смысловой близости уже применялась для прогнозирования коммерчески перспективных технологий.

Возможность анализа семантических связей на материале стремительного развития ИИ исследуется в работе, где представлена методология поиска семантических взаимосвязей на данных об инновационных технологиях. Методы разметки текста и парсинга больших объёмов данных рассматриваются в исследовании, демонстрирующем конкретные технические решения для извлечения «тэгов» (ключевых слов), которые также играют существенную роль в нашем исследовании. Кроме того, в работе описано распределение «тэгов» по классам и подклассам для кластеризации текстовых данных по смысловому признаку – эта методику была применена авторами при вычислении итоговых метрик.

Для сбора эмпирических данных был использован Telegram Client API. Авторизация в системе осуществлялась с помощью уникального API-токена, полученного для зарегистрированного приложения. Выборка для анализа включала 20 целевых каналов, разделённых на две тематические группы: 10 каналов, посвящённых технологиям, искусственному интеллекту и IT-трендам, и 10 каналов, фокусирующихся на инновационных стартапах и венчурных инвестициях. В итоге было извлечено и сохранено в формате CSV 881 сообщение (пост). Данные содержали метаинформацию (дата публикации, идентификатор канала, текст сообщения), которые затем были очищены от служебных символов, рекламных вставок и медиа-вложений для подготовки к семантическому анализу.

На этапе выбора программной платформы для задач обработки естественного языка (NLP) был проведён сравнительный анализ наиболее популярных решений: облачных сервисов Google AI Studio и HuggingFace, а также локальной платформы Ollama. Ключевыми критериями выступили стоимость обработки больших объёмов данных, скорость отклика, конфиденциальность информации и возможность работы в офлайнрежиме. Платформа Ollama продемонстрировала ряд неоспоримых преимуществ для локального использования: она обеспечивает оптимизированное развёртывание моделей с открытым исходным кодом на персональном компьютере, не требуя постоянного подключения к интернету и исключая затраты на облачные API. Это гарантирует полную конфиденциальность данных, что критически важно при работе с корпоративной или чувствительной информацией. Таким образом, выбор был сделан в пользу Ollama как наиболее сбалансированного решения, отвечающего требованиям исследования по автономности, безопасности и экономической эффективности.

В контексте поставленной задачи требовалась языковая модель, способная качественно выполнять семантический анализ текстов, включая суммаризацию и классификацию. Были сравнены современные открытые модели среднего размера: Qwen 2.5, Gemma и Llama 3. Модели оценивались по таким параметрам, как качество генерации на русском и английском языках, эффективность использования вычислительных ресурсов и удобство интеграции с Ollama. Несмотря на достоинства всех кандидатов, модель Qwen 2.5 показала наилучшую сбалансированность производительности и требований к аппаратным ресурсам. Её ключевым преимуществом является исключительно высокое качество понимания и генерации текста на русском языке, что принципиально важно для корректного анализа русскоязычного контента из Telegram-каналов. Кроме того, Qwen 2.5 демонстрирует высокие результаты в тестах на логическое мышление и точность выполнения инструкций, что делает её предпочтительным выбором для задач структурирования и категоризации текстовых данных.

Итоговая архитектура решения базировалась на связке локально развёрнутой платформы Ollama и языковой модели Qwen 2.5:7b. Обработка всего корпуса данных (881 текстовый пост) была выполнена на стандартном персональном компьютере без привлечения облачных ресурсов; общее время обработки составило приблизительно 18 часов. Таким образом, средняя скорость обработки одного поста равнялась около 40 секунд. Сбор семантических данных и создание групп метрик

В результате работы системы был сформирован структурированный датасет в виде реляционных таблиц, где каждому посту сопоставлен ряд категориальных и текстовых признаков, извлечённых моделью. Итоговый датасет состоит из двух таблиц – public_messages_nlp и public_messages_relations – содержащих следующие атрибуты:

Таблица 1 

Атрибуты таблицы public_messages_nlp**

Таблица 2  Атрибуты таблицы public_messages_relations**

В данном случае для выделения первичных семантических связей была использована модель «Источник – Связь – Цель» (X → Y) для получения простейшей единицы семантической связи. Языковая модель Qwen 2.5 по специально разработанной инструкции (промпту) определила словосочетания, содержащие законченный смысл, и разделила их на соответствующие сегменты объекта и субъекта, соединив их стандартизированной семантической связью. Например, словосочетание «StackOverflow обучен на реальных вопросах и задачах разработчиков» разложилось на фрагменты семантической связи:

[‘StackOverflow AI’, ‘обучен на’, ‘реальные вопросы и задачи разработчиков’]

В связи со спецификой применённой модели семантических связей пришлось стандартизировать типы связей до 20 наиболее часто встречающихся в датасете (остальные типы были приведены к ближайшим по смыслу) для упрощения дальнейшего анализа.

На начальном этапе аналитической работы была сформирована группа метрик для обоснования набора статистических гипотез, являющихся развитием нашего семантического анализа. Поставленные гипотезы выглядят следующим образом:

1. Доля дискурса ИИ во всех постах 20 Telegram-каналов (генеральной выборке) составляет более 50% (т.е. ИИ-дискурс преобладает).
2. Приоритетом в дискурсе стартапов является создание прикладных инструментов с использованием ИИ для выполнения запросов потребителей.

Ниже приведены сформированные группы метрик и их состав:

Таблица 3  Группы метрик и их содержание

Первая группа метрик «Доли содержания ключевых слов класса «ИИ» в сегментах семантической связи» была нацелена на доказательство первой гипотезы и успешно с этой задачей справилась. Даже минимальная доля содержания (в объектах/субъектах семантических связей) превысила 60%, а в тэгах сообщений доля ключевых слов темы ИИ составила более 80%.

Таблица 4 Метрики группы № 1

Рис. 1. Визуализация облака слов генеральной выборки, демонстрирующая доминирование тематики ИИ на рынке инновационных стартапов

Дальнейшие группы метрик были нацелены на изучение структуры спроса на ИИ в наших выборках. Для обоснования второй гипотезы рассмотрены группы метрик № 4–5, в которых вычислены коэффициенты спроса по сегментам и проведено их сравнение между собой.

Таблица 5 Метрики группы № 4

Таблица 6

Метрики группы № 5

Учитывая, что выборка по объектам/субъектам отражает прямую связь дискурса с тематикой ИИ, а выборка по тэгам – косвенную, полученные коэффициенты показывают: дискурс стартапов и инноваций на 13.9% (K3) более ориентирован на использование технологий, не связанных с ИИ, по сравнению с общей выборкой, и смещён в сторону создания новых прикладных инструментов, косвенно связанных с ИИ, на 3.3% (K2) относительно генеральной выборки (и на 6.6% относительно сегмента, напрямую связанного с ИИ, K1). Эти показатели подтверждают вторую выдвинутую гипотезу.

Проведённое исследование позволило достичь поставленной цели и подтвердить обе выдвинутые гипотезы. Эмпирически показано, что дискурс искусственного интеллекта доминирует в контенте анализируемых Telegram-каналов, составляя более 50% от общего массива публикаций. Это свидетельствует о глубокой интеграции темы ИИ в современную цифровую повестку.

Анализ содержания этого дискурса также выявил, что его ключевой фокус носит прикладной характер, а не теоретический. Приоритет отдаётся разработке практических инструментов на базе ИИ, ориентированных на решение конкретных задач пользователей.

Методологическая ценность работы заключается в успешной апробации модели Qwen для задач контент-анализа. Проведённый сравнительный анализ подтвердил эффективность больших языковых моделей (в частности, Qwen) для обработки и классификации текстовых данных в социальных медиа. Полученные результаты открывают перспективы для дальнейшего исследования медиадискурса с применением технологий искусственного интеллекта.

Литература и источники:

1. Сапунов А.В., Сапунова Т.А. Актуальность внедрения искусственного интеллекта в управлении производством на предприятии // Экономика и бизнес: теория и практика. 2022. № 5-3 (87). С. 47–50. URL: https://sciup.org/170192487 (дата обращения: 30.11.2025).
2. Логинова И.В., Пиекалнитс А.С., Соколов А.В. Использование семантического анализа для автоматизированного выявления хайповых технологий // Программные продукты и системы. 2025. № 1. С. 17–26. URL: https://swsys.ru/ index.php?page=article&id=5131 (дата обращения: 30.11.2025).
3. Мохаммад Ж.Х. Извлечение ключевых фраз на основе больших языковых моделей // Известия Южного федерального университета. Технические науки. 2024. № 5. С. 143–151. URL: https://cyberleninka.ru/article/n/izvlechenie-klyuchevyhfraz-na-osnove-bolshih-yazykovyh-modeley (дата обращения: 30.11.2025).
4. Бочарников И.В. Информационно-коммуникативные противоречия и проблемы современных процессов глобализации. В сборнике: Экология внешней и внутренней среды социальной системы (ЭкоМир-9). Материалы конференции. 2019. С. 190–192.
5. Информационная аналитика и информационно-аналитические технологии в контексте социального управления / Под ред. В.Н. Ремарчука, И.В. Бочарникова. Москва, 2025.
6. Ламинина О.Г. Процессы информатизации российского общества: проблемы и перспективы // Этносоциум и межнациональная культура. 2015. № 11 (89). С. 54–58.
7. Ремарчук В.Н. Информационно-аналитическая деятельность: проблемы и перспективы. В сборнике: Информационная аналитика и информационно-аналитические технологии в контексте социального управления. Москва, 2023. С. 16–25.
8. Кольцов С.Н., Кольцова О.Ю., Митрофанова О.А., Шиморина А.С. Интерпретация семантических связей в текстах русскоязычного сегмента «Живого Журнала» на основе тематической модели LDA // В сб.: Технологии информационного общества в науке, образовании и культуре: сб. науч. ст. Материалы XVII Всерос. объедин. конф. «Интернет и современное общество» (IMS-2014). СПб.: Университет ИТМО, 2014. С. 135–142.
9. Стернин И.А., Саломатина М.С. Семантический анализ слова в контексте: учебное пособие. Воронеж: Истоки, 2011. 150 с.

Ковалев Р.А., студент группыСГН3‐54Б, Полянский А.А., студент группы СГН3‐54Б, Канаев А.А., аспирант группы СГН5‐13А, Горюшкина А.Д., студентка группы СГН3‐31М

МГТУ им. Н.Э. Баумана / Аналитические технологии в социальной сфере: теория и практика: Сб. статей / Кафедра «Информационная аналитика и политические технологии» МГТУ имени Н.Э. Баумана; Научно-исследовательский центр проблем национальной безопасности / под общ. ред. И.В. Бочарникова, В.Н. Ремарчука. – М.: Изд-во НИЦ «Национальная безопасность», (Вып. 19), 2025. – С.110-118.