Генерация текстов
Часто возникают вопросы, связанные с генерацией контента при помощи цепей Маркова. И этот простой алгоритм уже оброс большим количеством легенд и слухов. Так что же мы знаем о нем?
Кому-то может показаться странным, но данная теория цепей была создана совсем не для генерации текста. Автоматическая генерация текста лишь маленький частный случай, затрагивающий эту теорию только с самого края.
Но на самой теории я останавливаться не буду, лишь вкратце опишу, в чём состоит её суть именно при генерации текста. Мы берём текст, разбиваем его на слова и запоминаем, какие слова в тексте за какими идут. Чтобы было понятнее, приведу пример. Пусть наш текст "Мы генерируем текст и текст который мы сгенерировали уникален". Теперь составим такую табличку:
Мы - генерируем, сгенерировали
генерируем - текст
текст - и, который
и - текст
который - мы
сгенерировали - уникален
уникален - мы
Ты видишь, что для каждого слова мы записали слова, которые в тексте встречаются после него. Теперь приступим к генерации. Возьмём любое слово, к примеру, "мы". Следующим мы возьмём любое из слов, которые в нашей табличке стоят напротив слова "мы". Пусть это будет "сгенерировали". Продолжим цепочку. Т.е. для "сгенерировали" возьмём "уникален", для "уникален" - "мы" и т.д. В итоге у нас может получиться что-то вроде:
Мы сгенерировали уникален мы генерируем текст и текст и текст который мы генерируем.
Для человека этот текст смысла не имеет, и вся его ценность для нас заключается в том, что любая комбинация из двух слов, которую можно встретить в сгенерированном тексте, вполне может встречаться и встречается в тексте, написанном человеком.
Естественно, если мы возьмём такой небольшой исходный текст, то ничего стоящего из него не сгенерируем. Но если исходного текста будет хотя бы несколько килобайт, то получится довольно неплохо.
Всё, оказывается, очень просто.
