Ученые из университета Торонто создали программу, которая на основе лексического анализа способна датировать средневековые английские хартии. Препринт работы опубликован в архиве Корнельского университета, кратко о ней пишет блог Technology Review.
Программа анализирует использование слов и выражений в средневековых документах и сравнивает их набор с контрольной группой из 10 тысяч хартий, даты составления которых известны.
Авторы приводят несколько примеров характерного словоупотребления. Например, фраза «amicorum meorum vivorum et mortuorum» («моих друзей живущих и умерших»), по словам ученых, была популярна с 1150 по 1240 годы, и редко встречается в другое время. Слова «Francis et Anglicis» («французам и англичанам») вошли в документы сразу поле завоевания Нормандии в 1204 году.
Ученые подчеркивают, что программа не основывается на отдельных словах-маркерах, а использует статистическое сравнение предлагаемого текста и контрольной выборки.
Получившийся алгоритм оказался достаточно точным. Так, авторы приводят пример с документом, первоначально датированным специалистами XIV веком. Подробные исследования показали, что скорее всего он был создан с 1235 по 1245 год. Дата, выданная программой, указала на 1246 год.
Ранее статистический анализ неоднократно использовался для исследования эволюции языка. Так, недавно лингвисты с его помощью определили дату «созревания» английского языка.