В этой статье мы объясним цель тематического предложения, покажем вам, как написать тематическое предложение, а также поделимся примерами и советами, которые помогут вам составить сильные тематические предложения в вашем собственном письме.

Что такое тематическое предложение?

Тематическое предложение — это вводное предложение к абзацу, которое дает общее представление (тему) того, о чем будет писаться.Он должен давать достаточно широкую информацию, чтобы можно было использовать несколько подтем и примеров, но не быть настолько общим, чтобы сделать неясной цель написания.

Тематические предложения помогают читателю ориентироваться, представляя тему остальной части абзаца. Они связаны с основной идеей всего произведения и представляют конкретную тему, которая находится в центре внимания абзаца. Тематические предложения обеспечивают структуру абзаца и части письма в целом.

Связано: Как написать абзац вступления

Чем тематическое предложение отличается от тезиса?

Утверждение тезиса — это предложение, в котором говорится о повторяющемся фокусе всего произведения.Тезис эссе обычно пишется после зацепки и/или тематического предложения вступительного абзаца, чтобы подчеркнуть точку зрения, которая будет подкреплена примерами на протяжении всего эссе. Тем не менее, тематическое предложение можно использовать для подтверждения тезиса, вводя тему каждого вспомогательного абзаца.

Вот пример:

• Предложение, открывающее тему абзаца: Чай давно изучается и пользуется его полезными свойствами.

• Тезис: Употребление чая положительно влияет на общее состояние здоровья человека благодаря содержащимся в нем соединениям.

Если бы вы составляли эссе, используя эти примеры, вы бы создали несколько абзацев, чтобы объяснить, какие соединения содержатся в чае и почему они полезны для вашего здоровья. Тематическое предложение для каждого абзаца должно было представлять такую ​​тему, как «противораковые соединения в зеленом чае» или «как чай снижает уровень холестерина». Обе эти темы подтверждают тезис о том, что чай положительно влияет на здоровье человека из-за содержащихся в нем соединений.

Связано: Как написать тезис (с советами и примерами)

Как написать тематическое предложение

Следуйте этим идеям, чтобы создать тематическое предложение для нескольких абзацев:

1.

Подумайте об общей теме вашего письма. Решите, как вы можете представить эту идею своим читателям с помощью интересного вступительного предложения.

2. Напишите предложение, которое связано с вашей основной идеей с помощью вопросов «что» и «почему». Укажите, что это за тема и почему это важно. Вот пример использования структуры что и почему с предыдущей темой чая.

Пример:

• Что: чай давно изучают и им наслаждаются

• Почему: благодаря его полезным свойствам

3. Используйте созданное предложение в качестве вступительного утверждения

часть письма, которая представляет основную мысль всей работы с использованием структуры «что и почему». Поместите это предложение перед своим тезисом, чтобы оно служило введением как к тезису, так и к основной идее всего произведения.

4. Создайте первое предложение в каждом вспомогательном абзаце

Напишите предложение, которое начинает каждый вспомогательный абзац с введения новой темы для этого раздела и связывает читателей с основной идеей вашего произведения. Продолжайте использовать структуру «что и почему», создавая новые тематические предложения для каждого абзаца.

Советы по составлению тематических предложений

Вот несколько полезных идей по созданию и использованию тематических предложений в письме:

Использование новой информации

Создайте тематическое предложение, которое даст читателям что-то интересное для размышлений вместо очевидного утверждения ( то, что всем известно).Когда вы создаете тематическое предложение, представляйте информацию по-новому, а не просто как констатацию факта.

Пример:

• Очевидное утверждение: Чай — это горячий напиток, который нужно заваривать.

• Интересное утверждение: Чай, горячий напиток, заваривают, чтобы полностью раскрыть вкус листьев, из которых состоит этот напиток.

Сделайте тематическое предложение сложным или составным

Сложные и сложные предложения делают тематические предложения более сильными и высокоуровневыми. Составьте сложносочиненное предложение из двух независимых предложений, соединенных сочинительным союзом и запятой. Составьте сложное предложение, в котором придаточное и независимое предложения соединены запятой и подчинительным союзом.

Пример:

• Сложносочиненное предложение: Викторианская эпоха была временем изобретений, но (координационное соединение) она также управлялась строгими социальными сигналами.

• Сложное предложение: Когда (подчинительный союз) птицы мигрируют на зиму, они следуют по воздушным путям, которыми их стаи пользовались на протяжении поколений.

Попробуйте слова-переходы

Такие слова, как «хотя», «другой» и «хотя» действуют как переходы для начала нового абзаца. Вы можете использовать их в тематическом предложении, которое начинает вспомогательный абзац, или, возможно, в тематическом предложении вступительного заявления.

Пример:

• Другим способом, которым местные фермы поддерживают устойчивость, является использование методов сохранения.

• Несмотря на то, что сезон ураганов начинается в июне, большинство крупных ураганов приходятся на конец августа или позже.

Тематические предложения используются при написании большей части документальной литературы

Научившись эффективно использовать тематические предложения, вы сможете написать почти любую документальную литературу. Вот несколько примеров распространенных форм без фантастики, которые используют тема Предложения:

• Различные типы эссе (экспозитор, убедительный и повествователь)

• Блоги

• Статьи

• Выступления

Используйте тематическое предложение позже в первом абзаце

Вам не обязательно всегда делать тематическое предложение первым предложением в абзаце.В начальном абзаце вы можете использовать тематическое предложение после зацепки, чтобы заинтересовать читателей заявлением, которое привлечет их внимание.

Связанный: Как написать эссе о великих карьерных целях

Примеры тематических предложений

Ниже приведены примеры тематических предложений с перечислением основной идеи, чтобы помочь вам понять, как тематическое предложение поддерживает основную мысль произведения:

Пример 1:

• Основная идея: Президент Джеймс Полк расширил физическую территорию Соединенных Штатов во время своего президентства.

• Тема предложения: Прежде чем покинуть свой пост, президент Полк приобрел территорию на западе Соединенных Штатов.

Пример 2:

• Основная идея: Космические агентства планируют пилотируемый полет на Марс в ближайшие два десятилетия.

• Тема предложения: Людям будет легче добраться до Марса, используя Луну в качестве стартовой базы.

Пример 3:

• Основная идея: Океан – самое неизведанное место на нашей планете.

• Тема предложения: Многие глубокие районы Тихого океана никогда не изучались человеком.

Использование тем для разработки диалога с чат-ботом — Power Virtual Agents

• Статья
• 04.01.2022
• 11 минут на чтение

Пожалуйста, оцените свой опыт

да Нет

Любая дополнительная обратная связь?

Отзыв будет отправлен в Microsoft: при нажатии кнопки отправки ваш отзыв будет использован для улучшения продуктов и услуг Microsoft. Политика конфиденциальности.

Представлять на рассмотрение

Спасибо.

В этой статье

Выберите здесь версию Power Virtual Agents, которую вы используете:

В Power Virtual Agents тема определяет, как будет проходить разговор с ботом.

Вы можете создавать темы, настраивая предоставленные шаблоны, создавать новые темы с нуля или получать предложения с существующих справочных сайтов.

В теме есть триггерные фразы — это фразы, ключевые слова или вопросы, которые пользователь может вводить в связи с определенной проблемой — и узлы диалога — это то, что вы используете, чтобы определить, как бот должен реагировать и что он должен делать. делать.

ИИ использует понимание естественного языка, чтобы проанализировать, что на самом деле набирает клиент, и найти наиболее подходящую триггерную фразу или узел.

Например, пользователь может ввести в ваш бот «Часы работы» — ИИ сможет сопоставить это с темой Время работы магазина и начать разговор, в котором спрашивается, какой магазин интересует покупателя, а затем отображает часы работы. магазин открыт.

Вы можете увидеть, как диалог с ботом работает на практике, протестировав его на панели Test bot . Это позволяет точно настраивать тему до тех пор, пока вы не будете готовы ее развернуть, не выходя из портала Power Virtual Agents.

Ограничения для ботов и тем см. в разделе Квоты, ограничения и значения конфигурации.

Предпосылки

Узнайте больше о возможностях Power Virtual Agents.

Используйте системные и примеры тем

Когда вы создаете бота, для вас автоматически создается ряд тем.

Эти темы делятся на две категории:

• Четыре предварительно заполненных темы пользователей , которые называются уроками. Эти темы уроков можно использовать, чтобы помочь понять простые и сложные способы использования узлов для создания диалогов с ботами. Вы можете редактировать эти темы так же, как и темы, которые вы создаете. Вы также можете удалить их полностью.
• Количество системных тем . Это предварительно заполненные темы, которые могут вам понадобиться во время разговора с ботом.Вы не можете удалять, отключать или редактировать триггерные фразы этих тем, но вы можете настроить узлы на холсте разработки. Мы рекомендуем не настраивать эти темы, пока вы не научитесь создавать непрерывный диалог с ботом.

Создать тему

1. Перейдите на вкладку Темы на боковой панели навигации, чтобы открыть страницу тем.

2. На странице тем выберите Новая тема .

3. Укажите имя, описание и одну или несколько триггерных фраз для темы.

   Триггерная фраза — это фраза, которую покупатель вводит в окно чата, чтобы начать разговор с ботом. Как только беседа начата, беседа идет по заданному вами пути. Вы можете указать более одной триггерной фразы для темы. Вы можете включать знаки препинания в триггерную фразу, но лучше использовать короткие фразы, а не длинные предложения.

4. Выберите Сохранить тему , чтобы добавить тему в список тем.

Дизайн пути обсуждения темы

1. В сведениях о теме, которую вы хотите изменить, выберите Перейти на холст разработки .

2. Power Virtual Agents открывает тему на холсте разработки и отображает триггерные фразы темы. На холсте разработки вы определяете путь разговора между клиентом и ботом.

3. Для существующих или системных тем будет автоматически создан ряд узлов. Вы можете редактировать эти узлы так же, как и другие узлы.

4. Когда вы создаете новую тему, для вас вставляется узел Триггерные фразы и пустой узел Сообщение .

5. Вы можете добавить дополнительные узлы, выбрав значок Plus ( + ) на линии или ответвлении между узлом или после него.

6. Вы также можете перемещать или изменять пути между узлами, щелкнув и перетащив якорь узла, который выглядит как маленький круг над узлом. При перетаскивании вы увидите пунктирную линию, указывающую исходный путь. Вы также можете дважды щелкнуть якорь, а затем выбрать новое место для якоря (вы не увидите пунктирной линии).

Узлы вставок

При добавлении узла вы можете выбрать один из нескольких вариантов. Каждый вариант имеет определенный узел или узлы, которые будут вставлены в путь диалога.

При добавлении узла после узла Trigger Phrases или между узлами Message вы можете:

• Задать вопрос
• Вызов действия
• Показать сообщение
• Перейти к другой теме

После последнего узла вы также можете:

Дополнительно можно Добавить условие при вставке узла после узла Вопрос .

Задать вопрос:

1. Чтобы бот задал вопрос и получил ответ от пользователя, выберите + , чтобы добавить узел, а затем Задать вопрос , чтобы добавить новый узел Вопрос .

2. Введите фразу вопроса в первое текстовое поле, Задайте вопрос .

3. Вы можете выбрать один из нескольких вариантов ответа пользователя в поле Идентифицировать .

   Эти параметры определяют, что бот должен отслеживать в ответе пользователя.

   Например, это могут быть варианты множественного выбора, число или определенная строка.

   Дополнительные сведения о различных параметрах этого всплывающего меню см. в разделе Использование сущностей в беседе.

4. В зависимости от того, что вы выберете в поле Идентифицировать , вы можете указать, какие параметры должны быть у пользователя.

   Например, если вы выберете Варианты множественного выбора , вы сможете ввести параметры, которые пользователь может указать в поле Параметры для пользователя .Каждый вариант представлен пользователю в виде кнопки множественного выбора, но пользователи также могут ввести свой ответ в боте.

   Редактор бесед создает отдельные пути в беседе в зависимости от ответа клиента. Путь разговора приводит клиента к соответствующему решению для каждого ответа пользователя. Вы можете добавить дополнительные узлы для создания логики ветвления и указать, что бот должен отвечать для каждой переменной.

5. Вы можете сохранить ответ пользователя в переменной для последующего использования.

Наконечник

Вы можете определить синонимы для каждой опции. Это может помочь боту определить правильный вариант, если неясно, с чем должен быть сопоставлен ответ пользователя.

1. Выберите значок меню в верхней части узла Вопрос , а затем выберите Параметры для пользователя .

2. Выберите значок Синонимы для опции, к которой вы хотите добавить дополнительные ключевые слова.

3. Добавьте ключевые слова по отдельности, а затем, когда закончите, выберите Готово , чтобы вернуться на холст разработки .

Вызвать действие

Вы можете вызвать Power Automate Flows и вставить узлы проверки подлинности, выбрав Вызов действия .

Если вы настроили многоканальную передачу с голосовыми возможностями, вы также увидите дополнительные действия.

Показать сообщение

1. Чтобы указать ответ от бота, выберите + , чтобы добавить узел, а затем Показать сообщение , чтобы добавить новый узел Сообщение .

2. Введите то, что вы хотите, чтобы бот сказал в текстовом поле. Вы можете применить базовое форматирование, например жирный шрифт, курсив и нумерацию.

   Вы также можете использовать переменные, которые вы определили где-то еще в своем диалоге с ботом.

Перенаправление на другую тему

1. Чтобы бот автоматически перемещался в отдельную тему, выберите + , чтобы добавить узел, а затем Перенаправить в другую тему .

2. Во всплывающем меню выберите тему, на которую должен перейти бот.Например, вы можете отправить пользователя к определенной теме о закрытии магазина, если он спросит о часах работы этого магазина.

Когда вы вставляете ссылку для перенаправления на другую тему, бот проходит путь беседы для этой темы.

Вы можете рассматривать перенаправленную тему как «подтему».

На холсте разработки исходной темы можно вставить дополнительные узлы под узлом подтемы.

Когда путь для подтемы будет пройден, бот вернется к исходной теме.Затем бот будет следовать узлам, которые находятся под узлом подтемы.

Однако, если вы перенаправите на любую из следующих системных тем, вся беседа завершится:

• Конец разговора
• Подтвержденный успех
• Подтвержденный отказ
• До свидания
• Эскалация
• Начать сначала (это также сбросит все глобальные переменные)

Передача переменных между темами

При перенаправлении на другие темы может потребоваться передать значения в переменные в целевой теме или получить переменные из нее. Это особенно полезно, когда у вас уже есть информация, необходимая теме, и вы не хотите, чтобы пользователь снова отвечал на вопрос, чтобы получить информацию. Это также может быть полезно при рефакторинге и разделении ваших тем на повторно используемые компоненты, когда вы хотите передавать переменные между темами.

Дополнительные сведения об использовании переменных в Power Virtual Agents см. в разделе Использование переменных.

Примечание

Переменные типа Custom Entity , Date Time и Duration не могут передаваться между темами.

Получение значений из других тем

Когда тема определяет переменную (например, с помощью узла вопроса), конечному пользователю, разговаривающему с ботом, будет задан вопрос для заполнения значения переменной. Если значение уже получено ботом, нет причин задавать вопрос еще раз. В этих случаях эту переменную можно определить как Получение значений из других тем . Когда другие темы перенаправляют на эту тему, он может передать переменную (или литеральные значения) в эту переменную и полностью пропустить вопрос.Это приводит к беспрепятственному взаимодействию конечного пользователя с ботом.

Чтобы получать значения из других тем, установите свойство переменной:

1. В узле Question выберите переменную, значения которой вы хотите получать из других тем.

2. На панели Свойства переменных в разделе Тема (ограниченная область) выберите Получить значения из других тем .

3. Сохранить тему.

4. Перейдите к другой теме, на которую вы хотите перенаправить, и выполните действия, описанные в разделе Перенаправление на другую тему, чтобы перенаправить на нужную тему.

5. Выберите + Добавить ввод для целевой темы .

6. Выберите нужную переменную из перенаправленной темы, в которую вы хотите передать эту переменную.

7. Под Введите или выберите значение , выберите переменную из текущей темы, которую вы хотите передать в перенаправленную тему.

8. После выбора переменная будет показана в перенаправленном узле.

Возврат значений в исходные темы

Когда тема задает вопрос (или иным образом получает переменную от действия), эта переменная может быть возвращена в исходную тему, которая перенаправила на нее.

В этом случае переменная также становится частью исходной темы и может использоваться как любая другая переменная. Это поможет вам построить тему так, чтобы информация, полученная ботом, использовалась в разных темах.Это также снижает потребность в глобальных переменных.

Чтобы вернуть переменную в исходную тему, установите свойство переменной:

1. В узле Question выберите переменную, значения которой вы хотите получать из других тем.

2. На панели Свойства переменных в разделе Тема (ограниченная область) выберите Возврат значений к исходным темам .

3. Сохранить тему.

4. Перейдите к другой теме, на которую вы хотите перенаправить, и выполните действия, описанные в разделе Перенаправление на другую тему, чтобы перенаправить на нужную тему.

5. Переменная, возвращаемая в тему, отображается в перенаправленной теме.

6. Используйте возвращенную переменную в своей теме.

Использование панели переменных

Вы также можете использовать панель Variables для выбора состояния получения или возврата нескольких переменных одновременно:

1. В строке меню темы выберите Variables .

2. Выберите, хотите ли вы, чтобы значения передавались внутрь или наружу (или и то, и другое) между темами для каждой из переменных в теме.

Использование литеральных значений на входных переменных

При передаче переменной в тему вы также можете передавать литеральные значения вместо переменной. Введите значение, предназначенное для передачи непосредственно во входные данные узла перенаправления.

Чтобы передать буквальное значение, введите значение, которое вы хотите использовать в качестве входных данных, вместо выбора переменной.

Завершить разговор

Когда вы завершаете беседу, у вас может появиться опрос, в котором у пользователя спрашивается, был ли на его вопрос или проблема дан правильный ответ или решен. Эта информация собирается на странице аналитики удовлетворенности клиентов.

Вы также можете передать беседу живому агенту, если используете подходящий портал обслуживания клиентов, например многоканальный для обслуживания клиентов.

1. В конце ответа, который решает проблему пользователя или отвечает на вопрос, выберите Завершить диалог .

2. Чтобы завершить опрос удовлетворенности клиентов, выберите Завершить опросом .

3. Выберите Transfer To Agent , чтобы вставить узел передачи, который будет связан с вашим настроенным продуктом передачи. Вы также можете ввести личное сообщение агенту.

Добавить условие

1. Чтобы добавить логику ветвления на основе переменных, выберите + для добавления узла, а затем Добавить условие и Ветвление на основе условия .

2. Выберите переменную, которую вы хотите использовать, чтобы определить, должен ли разговор бота разветвляться в этот момент. Например, если вы настроили аутентификацию конечного пользователя, вы можете указать другое сообщение, если пользователь вошел в систему (что могло произойти ранее в диалоге).

Удалить узлы

1. Выберите значок меню в верхней части заголовка узла.

2. Выбрать Удалить .

Протестируйте и опубликуйте своего бота

Проверяйте своего бота при внесении изменений в свои темы, чтобы убедиться, что все работает должным образом.

После того, как вы закончите проектирование и тестирование своего бота, вы можете рассмотреть возможность его публикации в Интернете, мобильных или собственных приложениях или на каналах Microsoft Bot Framework.

Тематический анализ: полное руководство

Тематический анализ — это метод обработки естественного языка (НЛП), который позволяет нам автоматически извлекать смысл из текста путем выявления повторяющихся тем или тем.

Автоматическое определение тем в текстовых данных

Компании ежедневно имеют дело с большими объемами неструктурированного текста, такого как электронные письма, заявки в службу поддержки, сообщения в социальных сетях, онлайн-обзоры и т. д.

Когда дело доходит до анализа огромных объемов текстовых данных, это слишком большая задача, чтобы делать ее вручную. Это также утомительно, долго и дорого. Ручная сортировка больших объемов данных с большей вероятностью приведет к ошибкам и несоответствиям. Кроме того, он плохо масштабируется.

Хорошей новостью является то, что тематический анализ с помощью ИИ упрощает, ускоряет и делает более точным анализ неструктурированных данных.

Прочтите это руководство, чтобы узнать больше об анализе тем, его применениях и о том, как начать работу с инструментами без кода, такими как MonkeyLearn.

1. Введение в тематический анализ

2. Как работает тематический анализ?

3. Тематический анализ Варианты использования и приложения

4. Ресурсы

Начнем!

Введение в тематический анализ

Что такое тематический анализ?

Тематический анализ (также называемый определением темы, моделированием темы или извлечением темы) — это метод машинного обучения, который упорядочивает и понимает большие коллекции текстовых данных путем назначения «тегов» или категорий в соответствии с темой или темой каждого отдельного текста.

Тематический анализ использует обработку естественного языка (NLP) для анализа человеческого языка, чтобы вы могли находить закономерности и разблокировать семантические структуры в текстах, извлекать информацию и помогать принимать решения на основе данных.

Двумя наиболее распространенными подходами к тематическому анализу с помощью машинного обучения являются Тематическое моделирование НЛП и Тематическая классификация НЛП .

Тематическое моделирование — это неконтролируемый метод машинного обучения. Это означает, что он может выводить шаблоны и группировать похожие выражения без необходимости заранее определять теги темы или обучать данные.Этот тип алгоритма можно применять быстро и легко, но есть и обратная сторона — они довольно неточны .

Классификация текста или извлечение темы из текста, с другой стороны, должны знать темы текста перед началом анализа, потому что вам необходимо пометить данные для обучения классификатора темы. Несмотря на то, что это дополнительный шаг, классификаторы тем окупаются в долгосрочной перспективе, и они намного точнее, чем методы кластеризации.

Мы более подробно рассмотрим эти два подхода в разделе «Как это работает».

Scope of Topic Analysis

Тематический анализ может применяться на различных уровнях охвата:

• Уровень документа : тематическая модель получает различные темы из полного текста. Например, темы электронного письма или новостной статьи.
• Уровень предложения : тематическая модель получает тему одного предложения. Например, тема заголовка новостной статьи.
• Уровень подпредложения : тематическая модель получает тему подвыражений внутри предложения.Например, разные темы в одном предложении обзора продукта.

Когда используется тематический анализ?

Тематические теги особенно полезны для быстрого и экономичного анализа огромных объемов текстовых данных — из внутренних документов, сообщений с клиентами или со всего Интернета. Да, вы можете сделать это вручную, но давайте посмотрим правде в глаза, когда слишком много информации для классификации, это просто займет много времени, дорого и гораздо менее точно.

В MonkeyLearn мы помогаем компаниям использовать тематический анализ, чтобы повысить эффективность своих команд, автоматизировать бизнес-процессы, получить ценную информацию из данных и сэкономить часы ручной обработки данных.

Представьте, что вам нужно проанализировать большой набор отзывов, чтобы узнать, что люди говорят о вашем продукте. Вы можете совместить маркировку тем с анализом настроений, чтобы узнать, какие аспекты или особенности (темы) вашего продукта обсуждаются чаще всего, и определить, как люди относятся к ним (являются ли их утверждения положительными, отрицательными или нейтральными?).Этот метод известен как анализ настроений на основе аспектов.

Помимо мониторинга бренда существует множество других применений тематического анализа, таких как мониторинг социальных сетей, обслуживание клиентов, анализ голоса клиента (VoC), бизнес-аналитика, продажи и маркетинг, SEO, продуктовая аналитика и управление знаниями.

Почему важен тематический анализ?

Предприятия ежедневно генерируют и собирают огромные объемы данных. Анализ и обработка этих данных с использованием автоматизированных методов тематического анализа поможет компаниям принимать более обоснованные решения, оптимизировать внутренние процессы, выявлять тенденции и предоставлять всевозможные другие преимущества, чтобы сделать их более эффективными и продуктивными.

Когда дело доходит до сортировки всех этих данных, решающее значение имеют модели машинного обучения. Определение темы позволяет нам легко сканировать большие документы и узнавать, о чем говорят клиенты.

К преимуществам тематического моделирования относятся:

Если бы вам приходилось вручную определять темы, просеивая огромную базу данных, это не только отнимало бы очень много времени, но и было бы слишком дорого. Автоматизированный тематический анализ с машинным обучением позволяет сканировать столько данных, сколько вы хотите, предоставляя совершенно новые возможности для получения значимой информации.

Комбинируя пометку тем с другими типами методов обработки естественного языка, такими как анализ тональности, вы можете в режиме реального времени получить картину того, что ваши клиенты говорят о вашем продукте. И самое главное, вы можете использовать эту информацию для принятия решений на основе данных круглосуточно и без выходных в режиме реального времени.

Автоматизированный тематический анализ основан на обработке естественного языка (NLP) — сочетании статистики, вычислительной лингвистики и компьютерных наук, поэтому вы можете рассчитывать на высококачественные результаты с непревзойденной точностью.

Примеры анализа тем

Вот несколько примеров, которые помогут вам лучше понять потенциальные возможности автоматического анализа тем:

• Маркировка тем используется для определения темы заголовка новостей. О чем говорится в новостной статье? Это Политика , Спорт или Экономика ? Например:

«Продажи iPhone в Китае упали на 20 процентов, так как доля рынка Huawei увеличилась»

Тематическая модель сделала бы вывод, что общая тема этого заголовка — «Экономика», путем определения слов и выражений, связанных с этой темой ( продажи — падение — процентов — Китай — рост — доля рынка ).

• Тематический анализ используется для автоматического определения типа проблемы, о которой сообщается в том или ином запросе в службу поддержки клиентов. Этот билет касается Проблемы с выставлением счетов , Проблемы со счетом или Проблемы с доставкой ? Например:

«Мой заказ еще не прибыл» будет помечен как проблема с доставкой.

Вопрос: «Что мы можем сделать, чтобы улучшить ваше впечатление от [продукта]?» Ответ: «Улучшите работу с корзиной, она очень запутанная.”

Тема этого ответа UI/UX .

Вы узнаете о наиболее часто обсуждаемых темах о вашем продукте или услуге, узнаете о новых тенденциях по мере их появления и оптимизируете процессы, позволив машинам выполнять задачи за вас.

Как работает тематический анализ?

Модели тематического анализа способны определять темы в тексте с помощью передовых алгоритмов машинного обучения, которые подсчитывают слова, а также находят и группируют похожие словосочетания.

Предположим, вы хотите узнать, что клиенты говорят о различных функциях нового ноутбука.

Возможно, вас интересуют темы Портативность , Дизайн и Цена . Теперь вместо того, чтобы тщательно расчесывать ряды отзывов клиентов, пытаясь разделить отзывы на интересующие темы, вы сможете провести анализ тем.

Для цены модели анализа могут обнаруживать шаблоны, такие как символы валюты, за которыми следуют числа, родственные слова (доступность, дорого, дешево) , синонимы (стоимость, ценник, ценность) или фразы (стоит каждого пенни) и соответствующим образом пометьте соответствующий текст.

Теперь давайте представим, что у вас нет списка заранее определенных тем. Модели тематического анализа также могут определять темы, подсчитывая частоту слов и расстояние между каждым использованием слова. Звучит просто, правда? Что ж, это немного сложнее, чем просто считать и определять закономерности.

Тематическое моделирование и классификация тем

Существует множество подходов и методов, которые вы можете использовать для автоматического анализа тем набора текстов, и тот, который вы решите использовать, зависит от решаемой проблемы. Чтобы понять все тонкости работы моделей тематического анализа, мы сосредоточимся на двух наиболее распространенных подходах.

Если у вас просто куча текстов и вы хотите выяснить, какие темы охватывают эти тексты, вам нужен тематическое моделирование .

Теперь, если вы уже знаете возможные темы для своих текстов и хотите автоматически пометить их соответствующей темой, вам нужна классификация тем.

Включить машинное обучение. Его можно использовать для автоматизации утомительных и трудоемких ручных задач.Существует множество алгоритмов машинного обучения, которые, имея набор документов и пару дружеских подталкиваний, способны автоматически определять темы в наборе данных на основе содержания самих текстов.

Большинство этих алгоритмов неконтролируемые, что означает, что вы передаете им тексты и параметры обучения, а они делают все остальное. Тематическое моделирование работает по такому алгоритму.

С другой стороны, у вас есть контролируемые алгоритмы. Машины получают примеры данных, помеченных в соответствии с их темами, чтобы они в конечном итоге сами научились маркировать текст по темам.Эти типы алгоритмов обычно используются для классификации тем.

Неконтролируемые алгоритмы машинного обучения теоретически менее трудоемки, чем контролируемые алгоритмы, поскольку они не требуют данных, помеченных человеком. Однако им могут потребоваться качественные данные в больших количествах.

В этом случае может оказаться выгодным просто запустить неконтролируемые алгоритмы и обнаружить темы в тексте в рамках процесса анализа.

Тем не менее, алгоритмы моделирования тем не будут предоставлять аккуратно упакованные темы с такими ярлыками, как Спорт и Политика .Скорее, они будут создавать наборы документов, которые алгоритм считает связанными, и конкретные термины, которые он использовал для вывода этих отношений. Вашей задачей будет выяснить, что на самом деле означают эти отношения.

С другой стороны, алгоритмы машинного обучения под наблюдением требуют от вас кропотливой работы по объяснению машине того, что вы хотите, с помощью помеченных примеров, которые вы ей передаете. Таким образом, определение темы и процесс маркировки являются важными шагами, к которым нельзя относиться легкомысленно, поскольку они влияют на реальную производительность модели или нарушают ее.

Однако преимущества алгоритмов с учителем бесспорно перевешивают. Вы можете уточнить свои критерии и определить свои темы, и если вы будете последовательны в маркировке своих текстов, вы будете вознаграждены моделью, которая будет классифицировать новые, невидимые образцы в соответствии с их темами, так же, как и вы.

Теперь давайте пойдем дальше и поймем, как на самом деле работают моделирование тем и классификация тем.

Тематическое моделирование

Тематическое моделирование используется, когда у вас есть набор текстовых документов (например, электронные письма, ответы на опросы, заявки в службу поддержки, обзоры продуктов и т. д.), и вы хотите выяснить, какие темы они охватывают, и сгруппировать их. по тем темам.

Принцип работы этих алгоритмов заключается в предположении, что каждый документ состоит из нескольких тем, а затем в попытке выяснить, насколько сильно каждая тема присутствует в данном документе. Это делается путем группировки документов на основе содержащихся в них слов и выявления корреляций между ними.

Тематическое моделирование не следует путать с кластерным анализом.

Чтобы лучше понять идеи тематического моделирования, мы рассмотрим основы двух самых популярных алгоритмов: LSA и LDA.

Латентный семантический анализ (LSA)

Латентный семантический анализ — это «традиционный» метод тематического моделирования. Он основан на принципе, называемом дистрибутивной гипотезой: слова и выражения, встречающиеся в похожих фрагментах текста, будут иметь сходные значения.

Как и Наивный Байес, он основан на частоте слов в наборе данных. Общая идея заключается в том, что для каждого слова в каждом документе вы можете подсчитать частоту встречаемости этого слова и сгруппировать вместе документы, в которых часто встречаются одни и те же слова.

Теперь, чтобы немного больше погрузиться в то, как это делается на самом деле, давайте сначала проясним, что подразумевается под частотой слов. Частота слова или термина в документе — это число, указывающее, как часто слово появляется в документе. Правильно, эти алгоритмы игнорируют синтаксис и семантику, такие как порядок слов, значение и грамматика, и просто обрабатывают каждый документ как несортированный «мешок слов».

Частоту можно вычислить простым подсчетом — если слово cat встречается в документе 10 раз, то его частота равна 10.Этот подход оказывается немного ограниченным, поэтому обычно используется tf-idf. Tf-idf учитывает, насколько распространено слово в целом (во всех документах) по сравнению с тем, насколько оно распространено в конкретном документе, поэтому более распространенные слова ранжируются выше, поскольку они считаются лучшим «представлением» документа, даже если они не самые многочисленные.

После вычисления частоты слов у нас остается матрица, в которой есть строка для каждого слова и столбец для каждого документа. Каждая ячейка представляет собой расчетную частоту для этого слова в этом документе. Это матрица терминов документа ; он связывает документы с терминами.

Внутри него скрыто то, что нам нужно: матрица тем документов и матрица тем терминов , которые связывают документы с темами и термины с темами. Именно эти матрицы отображают информацию о темах текстов.

Эти матрицы генерируются путем разложения матрицы терминов документа на три матрицы с использованием метода, называемого усеченным SVD .Во-первых, разложение по сингулярным числам (SVD) представляет собой алгоритм линейной алгебры для факторизации матрицы в произведение трех матриц U * S * V . Важной частью является то, что средняя матрица S является диагональной матрицей сингулярной значения исходной матрицы. Для LSA каждое из сингулярных значений представляет потенциальную тему.

Truncated SVD выбирает наибольшие t сингулярных значений и сохраняет первые t столбцов U и первые t строк V , уменьшая размерность исходного разложения. t будет количеством тем, которые найдет алгоритм, поэтому это гиперпараметр, который необходимо настроить. Идея состоит в том, что выбираются наиболее важные темы, и U — это матрица тем документов, а V — матрица тем терминов.

Векторы, составляющие эти матрицы, представляют документы, выраженные темами, и термины, выраженные темами; их можно измерить с помощью таких методов, как косинусное сходство для оценки.

Скрытое распределение Дирихле (LDA)

Здесь начинаются технические подробности.Полное понимание LDA включает в себя некоторые сложные темы математической вероятности. Однако основная идея, лежащая в основе этого, более понятна.

Представьте фиксированный набор тем. Мы определяем каждую тему как представленную (неизвестным) набором слов. Это темы, которые охватывают наши документы, но мы пока не знаем, какие именно. LDA пытается сопоставить все (известные) документы с (неизвестными) темами таким образом, чтобы слова в каждом документе в основном попадали в эти темы.

Фундаментальное допущение здесь такое же, как и для LSA: документы с одной и той же темой будут использовать похожие слова.Также предполагается, что каждый документ состоит из смеси тем, и каждое слово имеет вероятность принадлежности к определенной теме.

LDA предполагает, что документы генерируются следующим образом: выберите смесь тем (скажем, 20 % темы A, 80 % темы B и 0 % темы C), а затем выберите слова, принадлежащие этим темам. Слова выбираются случайным образом в соответствии с вероятностью их появления в определенном документе.

Конечно, в жизни документы так не пишутся. Документы пишутся людьми и имеют характеристики, которые делают их удобочитаемыми, такие как порядок слов, грамматика и т. д.Однако можно утверждать, что, просто взглянув на слова документа, вы можете определить тему, даже если фактическое сообщение документа не доходит до вас.

Этим занимается LDA. Он видит документ и предполагает, что он был создан, как описано выше. Затем он работает в обратном порядке от слов, составляющих документ, и пытается угадать смесь тем, которая привела к такому конкретному расположению слов.

То, как это достигается, выходит за рамки этой статьи, но если вы хотите узнать больше, хорошей отправной точкой является исходный документ LDA.

Что-то, что мы должны упомянуть о реализации, это то, что она имеет два гиперпараметра для обучения, обычно называемых α (альфа) и β (бета). Знание того, что они делают, важно для использования библиотек, реализующих алгоритм.

Alpha контролирует сходство документов. Низкое значение будет представлять документы как смесь нескольких тем, в то время как высокое значение выводит документы, представляющие большее количество тем, что делает все документы более похожими друг на друга.

Бета-версия такая же, но для тем, поэтому она контролирует сходство тем. Низкое значение будет представлять темы как более четкие, так как к каждой теме будет относиться меньшее количество уникальных слов. Высокое значение будет иметь противоположный эффект, в результате чего темы будут содержать больше общих слов.

Еще одна важная вещь, которую необходимо указать перед обучением, — это количество тем, которые будут у модели. Алгоритм не может решить это сам, ему нужно сказать, сколько тем нужно найти.Затем выводом для каждого документа будет смесь тем, которые есть в каждом конкретном документе. Этот вывод представляет собой просто вектор, список чисел, который означает «для темы A 0,2; для темы B 0,7; …» и так далее. Эти векторы можно сравнивать по-разному, и эти сравнения полезны для понимания корпуса, чтобы получить представление о его фундаментальных структурах.

Классификация тем

В отличие от моделирования тем, в классификации тем вы уже знаете, какие у вас темы.

Например, вы можете классифицировать заявки в службу поддержки клиентов по Проблема с программным обеспечением и Проблема с выставлением счетов . Что вы хотите сделать, так это назначить одну из этих тем для каждого из тикетов, обычно для ускорения и автоматизации некоторых процессов, зависящих от человека. Например, вы можете автоматически направлять заявки в службу поддержки, отсортированные по темам, нужному человеку в команде, не просматривая их вручную.

В отличие от алгоритмов тематического моделирования, алгоритмы машинного обучения, используемые для тематической классификации, контролируются.Это означает, что вам нужно скармливать им документы, уже помеченные по темам, и алгоритмы узнают, как помечать новые, не просмотренные документы с этими темами.

Теперь то, как вы заранее определяете темы для своих документов, — это совершенно другой вопрос. Если вы хотите автоматизировать какую-то уже существующую задачу, то, вероятно, у вас есть хорошее представление о темах ваших текстов. В других случаях вы можете использовать рассмотренные ранее методы тематического моделирования, чтобы заранее лучше понять содержание ваших документов.

В реальных сценариях происходит то, что темы раскрываются по мере построения модели.

Поскольку автоматическая классификация — либо по правилам, либо по машинному обучению — всегда включает в себя первый шаг ручного анализа и маркировки текстов, вы обычно в конечном итоге уточняете свой набор тем по ходу дела. Прежде чем вы сможете считать модель законченной, ваши темы должны быть надежными, а набор данных — согласованным.

Далее мы рассмотрим основные пути автоматической классификации тем: системы на основе правил, системы машинного обучения и гибридные системы.

Системы на основе правил

Прежде чем перейти к алгоритмам машинного обучения, важно отметить, что можно создать тематический классификатор полностью вручную, без машинного обучения.

Это работает путем прямого программирования набора рукотворных правил, основанных на содержании документов, которые фактически читал человек- эксперт. Идея состоит в том, что правила представляют собой кодифицированные знания эксперта и способны различать документы разных тем, глядя непосредственно на семантически релевантные элементы текста и на метаданные, которые может иметь документ.Каждое из этих правил состоит из шаблона и прогноза (в данном случае прогнозируемой темы).

Вернемся к обращениям в службу поддержки. Чтобы решить эту проблему с помощью правил, можно определить списки слов, по одному для каждой темы (например, для Проблемы с программным обеспечением такие слова, как ошибка, программа, сбой и т. д., а для Выставление счетов слов, таких как цена, плата, счет-фактура, долларов США и т. д.). Теперь, когда приходит новый билет, вы подсчитываете частоту слов, связанных с программным обеспечением, и слов, связанных с выставлением счетов.Затем тема с наибольшей частотой получает новый назначенный ей билет.

Системы, основанные на правилах, подобные этой, понятны человеку ; человек может сесть, прочитать правила и понять, как работает модель. Со временем их можно улучшить, уточнив существующие правила и добавив новые.

Однако есть и недостатки. Во-первых, эти системы требуют глубоких знаний предметной области (помните, что мы использовали слово эксперт ? Это не совпадение).Они также требуют много работы, потому что создание правил для сложной системы может быть довольно сложным и требует большого анализа и тестирования, чтобы убедиться, что все работает так, как задумано. Наконец, системы, основанные на правилах, сложны в обслуживании и не очень хорошо масштабируются, потому что добавление новых правил повлияет на производительность уже существующих правил.

Системы машинного обучения

В классификации машинного обучения примеры текста и ожидаемые категории (обучающие данные AKA) используются для обучения модели классификации тем НЛП.Эта модель учится на обучающих данных (с помощью обработки естественного языка), чтобы распознавать шаблоны и классифицировать текст по категориям, которые вы определяете.

Во-первых, обучающие данные должны быть преобразованы во что-то, что может понять машина, то есть в векторы (то есть списки чисел, которые кодируют информацию). Используя векторы, модель может извлекать соответствующие фрагменты информации (функции), которые помогут ей учиться на данных обучения и делать прогнозы. Для этого существуют разные методы, но один из наиболее часто используемых известен как векторизация мешка слов.Узнайте больше о векторизации текста

После преобразования обучающих данных в векторы они передаются алгоритму, который использует их для создания модели, способной классифицировать будущие тексты:

Для создания новых прогнозов обученная модель преобразует входящий текст в вектор, извлекает его соответствующие признаки и делает прогноз:

Модель классификации можно улучшить, обучив ее дополнительными данными и изменив параметры обучения алгоритма; они известны как гиперпараметры.

Ниже приведены общие обзоры алгоритмов машинного обучения, которые можно использовать для классификации тем. Для более подробного объяснения каждого из них, ознакомьтесь со связанными статьями.

Наивный байесовский алгоритм

Наивный байесовский алгоритм — это семейство простых алгоритмов, которые обычно дают отличные результаты при небольшом объеме обучающих данных и ограниченных вычислительных ресурсах. Вероятно, самым популярным членом семейства является Multinomial Naive Bayes (MNB), и это один из алгоритмов, которые использует MonkeyLearn.

Подобно LSA, MNB сопоставляет вероятность появления слов в тексте с вероятностью того, что этот текст посвящен определенной теме. Основное различие между ними заключается в том, что впоследствии делается с данными: LSA ищет шаблоны в существующем наборе данных, в то время как MNB использует существующий набор данных для прогнозирования новых текстов.

Машины опорных векторов

Хотя основанные на простой идее, машины опорных векторов (SVM) более сложны, чем Наивный Байес, поэтому они требуют большей вычислительной мощности, но обычно дают лучшие результаты. Однако можно получить время обучения, аналогичное времени обучения классификатора MNB, с оптимизацией путем выбора функций в дополнение к запуску оптимизированного линейного ядра, такого как LinearSVC от scikit-learn.

Основная идея SVM состоит в том, чтобы после векторизации всех текстов (так что они являются точками в математическом пространстве) найти наилучшую линию (в многомерном пространстве, называемую гиперплоскостью ), которая разделяет эти векторы на нужные темы. Затем, когда появится новый текст, векторизуйте его и посмотрите, с какой стороны строки он заканчивается: это выходная тема.

Глубокое обучение

Глубокое обучение на самом деле является общим термином для семейства алгоритмов, основанных на принципах работы нейронов человека. Хотя идеи, лежащие в основе искусственных нейронных сетей, возникли в 1950-х годах, в последние годы эти алгоритмы пережили большой всплеск благодаря снижению стоимости вычислений, увеличению вычислительной мощности и доступности огромных объемов данных.

Классификация текстов в целом и тематическая классификация в частности значительно выиграли от этого возрождения и обычно предлагают отличные результаты в обмен на некоторые драконовские вычислительные требования.Модели глубокого обучения нередко тренируются днями, неделями или даже месяцами.

Для классификации тем используются две основные архитектуры глубокого обучения: сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN). Различия выходят за рамки этой статьи, но вот хорошее сравнение с некоторыми реальными тестами.

Хотя для алгоритмов глубокого обучения требуется гораздо больше обучающих данных, чем для традиционных алгоритмов машинного обучения, классификаторы глубокого обучения продолжают становиться лучше, чем больше у них данных.С другой стороны, традиционные алгоритмы машинного обучения, такие как SVM и MNB, достигают предела, после которого они не могут улучшиться даже с большим количеством обучающих данных:

Это не означает, что другие алгоритмы строго хуже; это зависит от поставленной задачи. Например, пару десятилетий назад было объявлено, что обнаружение спама «решено» с использованием только Наивного Байеса и n-грамм.

Также используются другие алгоритмы глубокого обучения, такие как Word2Vec или GloVe; они отлично подходят для получения лучшего векторного представления слов при обучении с другими традиционными алгоритмами машинного обучения.

Гибридные системы

Идея гибридных систем состоит в том, чтобы объединить базовый классификатор машинного обучения с системой, основанной на правилах, которая улучшает результаты с помощью точных правил. Эти правила можно использовать для исправления тем, которые не были правильно смоделированы базовым классификатором.

Метрики и оценка

Тренировочные модели — это прекрасно и все такое, но если у вас нет регулярного, последовательного способа измерения результатов, вы не сможете судить об работоспособности или улучшении вашей модели.

Чтобы измерить производительность модели, вам нужно позволить ей классифицировать тексты, которые, как вы уже знаете, к какой тематической категории они относятся, и посмотреть, как она работает.

Основные анализируемые показатели:

• Точность : процент текстов, которые были предсказаны с правильной темой
• Точность : процент текстов, которые модель получила правильно от общего количества текстов, которые она предсказала для заданной темы
• Вспомнить : процент текстов, предсказанных моделью для данной темы, от общего количества текстов, которые она должна была предсказать для этой темы
• Оценка F1 : гармоническое среднее точности и полноты

Одно важное замечание: данные обучения не следует использовать для измерения производительности, так как модель уже видела эти образцы.

Идеальным способом измерения было бы взять часть размеченных вручную данных, не использовать их для обучения, а когда модель обучена, использовать ее для тестирования. Этот набор данных называется золотым стандартом. Однако оставлять часть ваших с трудом заработанных данных просто лежать неиспользованными вместо того, чтобы включать модель, не очень оптимально. Вы можете добавить эти тестовые данные в окончательную модель, но тогда у вас будет та же проблема: вы не знаете, было ли на самом деле лучше без них.

То, что можно сделать вместо этого, называется перекрестной проверкой.Вы случайным образом разбиваете обучающий набор данных на наборы одинакового размера (например, 4 набора с 25 % данных в каждом). Для каждого из этих наборов вы обучаете классификатор со всеми данными, которых нет в этом наборе (75% данных), и используете этот набор в качестве золотого стандарта для тестирования.

Затем вы строите окончательную модель путем обучения со всеми данными, но используемые для нее показатели производительности представляют собой среднее значение частичных оценок.

Варианты использования и приложения

Тематический анализ помогает компаниям стать более эффективными, экономя время на повторяющихся ручных задачах и собирая ценные сведения из текстовых данных, которыми они ежедневно управляют.

Тематический анализ предлагает бесконечные возможности в различных отраслях и областях внутри компании, от продаж и маркетинга до поддержки клиентов и групп по продуктам. Допустим, вы хотите раскрыть основные темы разговоров о вашем бренде в социальных сетях, понять приоритеты сотен поступающих обращений в службу поддержки или определить промоутеров бренда на основе отзывов клиентов. Тематический анализ позволяет сделать все это (и многое другое) простым, быстрым и экономичным способом.

Начать работу легко — вам не нужны знания в области обработки данных или навыки программирования или.

Как использовать тематический анализ для вашего бизнеса:

Мониторинг социальных сетей

Каждый день люди отправляют 500 миллионов твитов. Впечатляет, правда? И это только Твиттер! В этих огромных объемах данных социальных сетей есть упоминания о продуктах и ​​услугах, рассказы о клиентском опыте и взаимодействиях между пользователями и брендами. Следить за этими разговорами жизненно важно, чтобы получать от клиентов полезную информацию в режиме реального времени, решать потенциальные проблемы и предвидеть кризисы.Но получить доступ ко всем этим данным может быть сложно.

Простого подсчета кликов, лайков и упоминаний бренда уже недостаточно. Тематический анализ позволяет автоматически добавлять контекст к данным социальных сетей, чтобы понять, что люди на самом деле говорят о вашем бренде.

Представьте, что вы работаете в United Airlines. Вы можете использовать обнаружение темы, чтобы проанализировать, что пользователи говорят о вашем бренде в Twitter, Facebook и Instagram, и легко определить наиболее распространенные темы в разговоре.Ваши клиенты могут ссылаться на функциональные возможности, простоту использования или, возможно, ссылаться на проблемы со службой поддержки. Благодаря тематическому анализу вы получите ценную информацию, например:

• Понимание того, что люди больше всего ценят в вашем продукте или услуге
• Определение того, какие области вашего продукта или услуги вызывают больше опасений
• Определение ваших болевых точек, чтобы вы можете использовать их как возможности для улучшения

Вы также можете использовать обнаружение тем, чтобы следить за своими конкурентами и отслеживать тенденции в вашей области с течением времени.

Добавьте дополнительное измерение к анализу данных, объединив обнаружение темы с анализом настроений, чтобы вы могли понять чувства и эмоции, стоящие за комментариями в социальных сетях. Аспектный анализ настроений — это метод машинного обучения, который позволяет связать определенные настроения (положительные, отрицательные, нейтральные) с различными аспектами (темами) продукта или услуги. В случае с United Airlines вы не только будете знать, что большинство ваших пользователей говорят о вашем бортовом меню в Твиттере, но также сможете узнать, относятся ли они к нему отрицательно или положительно, а также основные ключевые слова, которые они используют для этой темы.

Следите за реакцией на маркетинговые кампании или выпуски продуктов в режиме реального времени, получайте точную карту восприятия и следите за их изменением с течением времени.

Пример: Трамп против Хиллари, анализ упоминаний в Твиттере во время выборов в США

В MonkeyLearn мы использовали машинное обучение для анализа миллионов твитов, размещенных пользователями во время выборов в США в 2016 году. Во-первых, мы классифицировали твиты по темам, говорили ли они о Дональде Трампе или Хиллари Клинтон. Затем мы использовали анализ настроений, чтобы классифицировать твиты как положительных , отрицательных или нейтральных .Это позволило нам провести всевозможный анализ, например, выделить наиболее релевантные ключевые слова для негативных твитов о Трампе в определенный день.

На этом графике показано изменение положительных, нейтральных и отрицательных твитов, касающихся Трампа и Клинтон, с течением времени. Большинство твитов об обоих кандидатах негативные.

Мониторинг бренда

Это не все о социальных сетях. Блоги, новостные агентства, обзорные сайты и форумы также оказывают сильное влияние на репутацию бренда.Фактически, почти 90% потребителей читают не менее 10 онлайн-обзоров, прежде чем сформировать мнение о компании, и почти 60% будут использовать продукт или услугу только в том случае, если у них четыре или более звезд. Мы все были там, будь то бронирование отеля для вашего следующего отпуска или загрузка нового приложения на свой мобильный телефон, проверка отзывов является неизбежным шагом в нашем процессе принятия решений.

Тематический анализ в режиме реального времени позволяет отслеживать имидж вашего бренда (принять меры в случае кризиса или вносить улучшения на основе отзывов клиентов), а также отслеживать своих конкурентов и выявлять последние тенденции в вашей отрасли.

Используйте идентификацию темы и анализ, чтобы получить представление о вашем бренде, обнаруживая и отслеживая различные области вашего бизнеса, которые люди обсуждают больше всего.

Затем, для более глубокого понимания ваших данных, вы можете выполнить анализ настроений на основе аспектов, чтобы «выяснить мое мнение» о чувствах и эмоциях ваших клиентов. Вы даже можете комбинировать это с извлечением ключевых слов, чтобы выявить наиболее релевантные термины, используемые по каждой из тем. Комбинация ряда методов анализа текста позволяет получить действительно детализированные результаты анализа данных, понять, почему что-то происходит, и даже сделать прогнозы на будущее.

Пример: анализ отзывов Slack на Capterra

С помощью MonkeyLearn вы можете создавать персонализированные модели с помощью машинного обучения и обучать их выполнять работу автоматически. Чтобы показать вам, как именно это работает, мы использовали пакет MonkeyLearn R для анализа тысяч обзоров Slack с сайта обзора продуктов Capterra.

После очистки данных мы определили ряд классификаторов тем, которые помогли нам определить, о чем был текст в обзорах ценообразование , UX , поддержка клиентов , производительность и т. д.Затем мы использовали экстрактор единиц мнений, чтобы разделить каждый обзор на отдельные мнения (поскольку некоторые предложения могут содержать более одного мнения). Наконец, мы создали модель анализа настроений, чтобы классифицировать их как положительные, отрицательные или нейтральные:

На графике выше показаны настроения для каждого из проанализированных аспектов, взвешенные по количеству упоминаний. Мы видим, что пользователям больше всего нравятся аспекты Slack: простота использования , интеграция и цель , в то время как большинство жалоб относятся к производительность-качество-надежность , цены и уведомления .

Служба поддержки клиентов

Уже недостаточно просто иметь отличный продукт по конкурентоспособной цене. Возможность обеспечить отличное качество обслуживания клиентов может иметь решающее значение и помочь вам выделиться среди конкурентов. Согласно отчету Microsoft за 2017 год, 96% опрошенных говорят, что обслуживание клиентов повлияло на их выбор и лояльность к бренду. Кроме того, 56% заявили, что перестали пользоваться продуктом или услугой из-за плохого качества обслуживания клиентов.

С учетом того, что ежедневно в вашу службу поддержки поступают сотни или тысячи обращений в службу поддержки, большая часть работы службы поддержки клиентов состоит в обработке больших объемов текста. Во-первых, вам нужно выяснить тему каждой заявки и пометить ее соответствующим образом, а затем отобрать заявки в соответствующую область, которая занимается каждым типом проблемы.

Машинное обучение открывает двери для автоматизации этой повторяющейся и трудоемкой (не говоря уже об ужасно скучной) задачи, чтобы сэкономить драгоценное время для вашей службы поддержки клиентов, позволяя им сосредоточиться на том, что они могут делать лучше всего: помогать клиентам и делать их счастливыми . Алгоритмы машинного обучения можно научить сортировать запросы в службу поддержки (в больших объемах или мгновенно), помечать каждый запрос соответствующей темой или отделом и автоматически направлять их соответствующему сотруднику, и все это без необходимости взаимодействия с человеком.

Благодаря сочетанию моделей машинного обучения (не только маркировка тем, но и классификация намерений, определение срочности, анализ настроений и определение языка) ваша служба поддержки клиентов может:

Голос клиента (VoC)

Отзывы клиентов ценный источник информации, который дает представление об опыте, уровне удовлетворенности и ожиданиях ваших клиентов, поэтому вы можете принимать прямые меры, выявлять сторонников и недоброжелателей и вносить улучшения на основе отзывов.

Опросы Net Promoter Score (NPS) и прямые опросы клиентов — два наиболее распространенных способа измерения отзывов клиентов. Сбор информации — это простая часть процесса, но затем следует анализ. К счастью, тематический анализ позволяет командам автоматически обрабатывать опросы, обычно всего за несколько минут.

Опросы NPS задают простой вопрос для оценки удовлетворенности клиентов:

«Насколько вероятно, что вы порекомендуете нас другу?»

Клиент дает оценку от 0 до 10 и, в зависимости от ответа, клиент будет классифицирован как сторонник (9 или 10), пассивный (7, 8) или недоброжелатель (6 или ниже).

Во второй части анализ опроса NPS усложняется: респондентов просят объяснить, почему они ответили именно так. Это открытый ответ. Например, клиент мог поставить 6 в опросе, а затем ответить:

«Продукт действительно отличный, мне нравится UX, так как он действительно прост в использовании. Плохо в сервисе цена, она довольно дорогая»

Этот ответ дает НАМНОГО больше информации, и теперь, с помощью тематического анализа машинного обучения, ее можно анализировать автоматически. Давайте взглянем на этот реальный вариант использования:

Недавно использовали MonkeyLearn для анализа ответов NPS. Они создали классификатор тем и обучили его помечать каждый ответ разными темами, такими как Product UX , Служба поддержки клиентов и Простота использования . Затем они сгруппировали промоутеров, пассивных, и недоброжелателей , чтобы определить наиболее распространенные теги в отзывах каждой группы. Результат выглядел следующим образом:

Сочетание тематического анализа с анализом тональности и извлечением ключевых слов — это мощный подход, который позволяет вам видеть дальше показателя NPS и действительно понимать, что ваши клиенты думают о вашем продукте и какие аспекты они ценят или критикуют.

Анализ опросов клиентов

Будь то электронные письма или онлайн-опросы, если у вас есть много открытых вопросов для пометки, машинное обучение справится с этим! Забудьте о трудоемких ручных задачах и получайте результаты быстро и просто. MonkeyLearn даже позволяет вам напрямую интегрироваться с инструментами для проведения опросов, которые вы, возможно, уже используете, для упрощения анализа данных опросов, такими как Google Forms и SurveyMonkey.

Business Intelligence

Это эра данных. Бизнес-аналитика (BI) — это всесторонний, целостный подход к анализу данных, собирающий данные из максимально возможного количества источников для исторического анализа, анализа в реальном времени и прогнозного анализа.Используя содержательную и полезную информацию, компании могут улучшить свои процессы принятия решений, выделиться среди конкурентов, определить тенденции и выявить проблемы до того, как они обострятся.

Используйте тематический анализ, чтобы найти повторяющиеся темы в наборе данных и получить ценную информацию о том, что важно для ваших клиентов. Сделав это, вы также можете запустить анализ настроений на основе аспектов, чтобы добавить дополнительный уровень анализа и получить более глубокое понимание того, как клиенты относятся к каждой из этих тем.

Инструменты бизнес-аналитики, такие как MonkeyLearn Studio, могут собрать все ваши данные, инструменты аналитики и результаты вместе в единой эффектной визуализации. Ниже представлен анализ настроений отзывов о Zoom на основе аспектов. Вы увидите отдельные темы отзывов, классифицированные по (удобство использования, поддержка, надежность и т. д.), а затем проанализированные настроения, чтобы показать, какие темы (аспекты) являются положительными и отрицательными. Попробуйте общедоступную информационную панель MonkeyLearn Studio, чтобы увидеть, как она работает.

Продажи и маркетинг

Квалификация потенциальных клиентов является одной из главных задач для отделов продаж.Только лиды, которые соответствуют вашему идеальному покупателю, могут быть квалифицированы как хорошие перспективы для вашего продукта или услуги, и их идентификация часто требует множества утомительных исследований и ручных операций. Что, если бы вы могли использовать тематический анализ, чтобы частично автоматизировать квалификацию потенциальных клиентов и помочь сделать ее еще более эффективной?

Xeneta, компания, предоставляющая информацию о рынке морских перевозок, занимается именно этим. Машинное обучение помогает им прогнозировать качество потенциальных клиентов на основе описаний компаний.По сути, они обучили алгоритм выполнять работу, на которую раньше у них уходили десятки часов ручной обработки.

Влиятельный специалист по продуктивности Ари Мейзел также использует машинное обучение для выявления потенциальных клиентов. Он обучил модель классификатора с помощью MonkeyLearn, которая анализирует электронные письма, обогащенные общедоступными данными, и способна предсказать, подходит ли контакт для какой-либо из предлагаемых им услуг.

Еще один интересный пример использования машинного обучения в продажах — Drift.Выполняя свою миссию по привлечению продавцов к лучшим лидам, компания использует MonkeyLearn для автоматической фильтрации исходящих ответов по электронной почте и управления запросами на отмену подписки. Благодаря обработке естественного языка они избегают отправки нежелательных писем, позволяя получателям отказаться в зависимости от того, как они отвечают. Таким образом, они экономят драгоценное время отдела продаж.

Классификация намерений — еще один отличный метод анализа тем, который может автоматически классифицировать ответы по электронной почте на маркетинговые кампании, среди прочего, как «Заинтересованные», «Не заинтересованные», «Отказы по электронной почте» и т. д.

Аналитика продукта

Одной из основных задач менеджеров по продукту, занимающихся улучшением своих продуктов, является рассмотрение как деталей, так и «картины в целом». Например, когда дело доходит до пути клиента, менеджеры по продукту должны уметь предвидеть потребности клиента и предпринимать действия на основе отзывов клиентов.

Анализ текста можно использовать для анализа взаимодействия с клиентами и автоматического определения областей, требующих улучшения.

Допустим, вы анализируете данные о взаимодействии со службой поддержки и видите резкое увеличение числа людей, спрашивающих, как использовать новую функцию.Это может указывать на то, что объяснение того, как использовать эту функцию, неясно, поэтому вам необходимо улучшить UI/UX или любую документацию об этой функции.

Управление знаниями

Ежедневно организации генерируют огромное количество данных. В этом контексте управление знаниями направлено на предоставление средств для сбора, хранения, извлечения и обмена этими данными, когда это необходимо. Обнаружение тем имеет огромный потенциал, когда речь идет об анализе больших наборов данных и извлечении из них наиболее релевантной информации.

Это может преобразовать такие отрасли, как здравоохранение, где ежесекундно производятся тонны сложных данных, и в ближайшие несколько лет ожидается взрывной рост, но доступ к которым при необходимости чрезвычайно затруднен. Тематический анализ позволяет классифицировать данные по заболеваниям, симптомам, методам лечения и т. д., чтобы к ним можно было быстро получить доступ, когда это необходимо, даже для поиска закономерностей и других важных идей.

Ознакомьтесь с некоторыми ресурсами ниже, чтобы найти дополнительную информацию об обнаружении темы НЛП, классификации и моделировании, а также анализе текста в целом. Затем мы покажем вам, как легко начать работу с моделями тематического анализа и простыми пошаговыми руководствами.

Ресурсы

Возможно, вам не терпится приступить к тематическому анализу, но вы не знаете, с чего начать. Хорошая новость заключается в том, что существует множество полезных инструментов и ресурсов.

Реализация алгоритмов, которые мы обсуждали ранее, может стать отличным упражнением для понимания того, как они работают. Однако, если у вас нет многолетнего опыта в науке о данных и кодировании, вам, вероятно, лучше придерживаться решений SaaS.Инструменты анализа текста SaaS можно внедрить сразу же, они намного дешевле и могут быть обучены так же эффективно, как создание моделей с нуля. Взгляните на дебаты о сборке и покупке, чтобы узнать больше.

Библиотеки с открытым исходным кодом

Если вы собираетесь программировать самостоятельно, существует множество библиотек с открытым исходным кодом на многих языках программирования для проведения тематического анализа. Независимо от того, используете ли вы тематическое моделирование или классификацию тем, вот несколько полезных советов.

Тематический анализ в Python

В последние годы язык Python вырос и стал одним из самых важных языков в сообществе специалистов по данным.Простой в использовании, мощный и поддерживающий большое сообщество, Python идеально подходит для начала работы с машинным обучением и тематическим анализом.

Gensim — это первая остановка для всего, что связано с тематическим моделированием в Python. Он поддерживает выполнение как LSA, так и LDA, среди других алгоритмов тематического моделирования, а также реализации самых популярных алгоритмов векторизации текста.

NLTK — это библиотека всего, что связано с НЛП. Его основная цель — обрабатывать текст: очищать его, разбивать абзацы на предложения, разбивать слова в этих предложениях и так далее.Поскольку он предназначен для работы с текстом в целом, он полезен как для моделирования тем, так и для классификации. Эта библиотека не самая быстрая в своем роде (это название, вероятно, принадлежит spaCy), но она мощная, простая в использовании и поставляется с большим количеством аккуратных корпусов, которые можно использовать для обучения.

Scikit-learn — это простая библиотека для всего, что связано с машинным обучением в Python. Для классификации тем это отличное место для начала: от очистки наборов данных и моделей обучения до измерения результатов, scikit-learn предоставляет инструменты для всего этого.И, поскольку он построен на основе NumPy и SciPy, он также довольно быстр.

Тематический анализ в R

R — это язык, который сейчас популярен среди специалистов по статистике. Поскольку при тематическом анализе задействовано много статистических данных, вполне естественно использовать R для решения задач, основанных на статистике.

Для тематического моделирования попробуйте пакет топиков. Это часть семейства tidytext, в котором используются принципы аккуратности данных, чтобы сделать задачи анализа текста проще и эффективнее.

Caret — отличный пакет для машинного обучения в R.Этот пакет предлагает простой API для тестирования различных алгоритмов и включает в себя другие функции для классификации тем, такие как предварительная обработка, выбор функций и настройка модели.

mlR (сокращение от машинного обучения в R ) — это альтернативный пакет R, также предназначенный для обучения и оценки моделей машинного обучения.

Тематический анализ SaaS API

Для тех, кто не занимается кодированием, инструменты SaaS определенно подойдут. В противном случае вам пришлось бы нанимать целую команду разработчиков, что может занять месяцы и стоить сотни тысяч долларов.

Для вызова SaaS API обычно требуется всего несколько строк кода, и большинство из них интегрируются с инструментами, которые вы уже используете, поэтому вам не нужно изучать целые новые системы.

MonkeyLearn предлагает пакет тематического анализа SaaS и многие другие инструменты анализа текста, которые можно вызвать всего за 10 строк кода и настроить в соответствии с языком и потребностями вашего бизнеса, обычно всего за несколько минут.

Попробуйте, например, классификатор намерений и электронной почты, который предварительно обучен понимать причину ответов по электронной почте и классифицировать их по темам: автоответчик, возврат электронной почты, заинтересовано, не заинтересовано, отписаться или не тот человек.

Или взгляните на другие предварительно обученные модели анализа текста ниже, чтобы увидеть, как они работают:

• Извлечение ключевых слов: найдите наиболее часто используемые и наиболее важные ключевые слова в вашем собственном тексте
• Анализатор настроений: классифицируйте текст по полярности мнений (положительные , отрицательный, нейтральный)
• Word Cloud Generator: инструмент кластеризации ключевых слов, который группирует ключевые слова по размеру в соответствии с их важностью в тексте

API MonkeyLearn предлагает простые SDK для предварительно обученных моделей и учебных пособий, чтобы научить вас, как обучать твой собственный.А с помощью MonkeyLearn Studio вы можете связать воедино все необходимые анализы и заставить их работать согласованно, автоматически, а затем визуализировать свои результаты. Все это работает в единой панели, поэтому вам больше не нужно загружать и скачивать данные между приложениями.

Другое Великолепное SaaS Тема Анализ решений:

• Amazon POTSON
• IBM Watson
• Google Cloud NLP
• Aylien
• Ознакомление
• BIGML