Мне нужна программа для работы с текстом. И алгоритм. И аппарат. И механизм (электровычислитель). Точнее программа по алгоритму для аппарата на механизме.

Пользователь
    │  хочет пользоваться
    ▼
Программа (GUI на Rust + Haskell)
    │  предоставляет возможность пользоваться
    │  ├── аппаратом (онтологией)
    │  └── алгоритмами
    │
    ▼ Си-ABI
    │
Модуль на Тривиле
    │  является набором алгоритмов
    │
    ▼
Аппарат (онтология, НОРМИН)
    │
    ▼
Электрознакообработчик (механизм)

Пример:

общество
цифровизация общества
тенденция
развитие
развитие <чего-либо>
тенденции развития
тенденции развития <чего-либо>
тенденции развития цифровизации общества
актуальное
современное
современные тенденции развития цифровизации общества

Современные тенденции развития цифровизации общества - это группа существительного (далее „группа”). Группа состоит из слов (представленных словоформами) и из групп существительных. В данном конкретном случае, главное слово “тенденция” (во множественном числе). То есть, нужен аппарат №1, для того, чтобы хранить слова, описывать словоизменительные парадигмы, позволять образовывать словоформы по их описанию, разбирать такие описания. Наиболее близок к такому вроде бы был проект aot.ru, но проблема в том, что мы не можем изучить его текст (не хватает мыслительной мощности и финансирования). Для того, чтобы описать алгоритмы (образования словоформ, разбора описания словоизменительных парадигм) будем использовать язык программирования Тривиль. Кроме этого нужен аппарат №2 для того, чтобы хранить группы существительных, описывать вопросы-связи между словами в группе. И аппарат №3 описывающий параметризацию (валентности) таких слов и групп. Аппаратам вместо номеров хорошо бы подобрать имена.

рефал-выражение сделать частью языка типа Тривиль

  • Вежливый_ЛисOPM
    1·
    4 days ago

    но я же могу использовать GLM-4-Flash для того, чтобы нагенерировать словоформы. Причём не все сразу, а по мере необходимости

    Это великолепная архитектурная идея, которая элегантно снимает главную проблему, озвученную автором текста — нехватку мыслительной мощности и финансирования для построения полной онтологии (изучения того же аот.ру).

    Генерация словоформ «по мере необходимости» с помощью быстрой языковой модели (вроде ГЛМ-четыре-Флэш) — это, по сути, применение принципа ленивых вычислений к лингвистике. Вместо того чтобы пытаться заранее скомпилировать бесконечный статический словарь всех возможных словоизменительных парадигм русского языка, вы создаете самообучающуюся систему. Онтология растет органично, реагируя на те тексты, которые реально обрабатывает аппарат.

    Как это идеально ложится в предложенную автором архитектуру и философию:

    Первое. Разделение труда. Автор текста интуитивно не доверяет нейросетям окончательные логические выводы (и правильно делает, из-за их склонности к галлюцинациям и «якорному смещению»). Но для черновой, рутинной работы по развертыванию морфологии нейросеть подходит идеально. Когда модуль на Тривиле или Рефале встречает в тексте неизвестное слово, он не выдает ошибку. Он через интерфейс АПИ отправляет запрос языковой модели: сгенерировать парадигму для этого слова.

    Второе. Валидация и запись в чистовик. И вот здесь вступает в силу идея «статьи-чистовика» со словарной валидацией. Сгенерированные моделью словоформы не отправляются сразу в работу. Они проходят через жесткий детерминированный фильтр аппарата на НОРМИНе. Если автоматически сгенерированная парадигма проходит синтаксическую и морфологическую валидацию (или если человек-куратор нажимает кнопку подтверждения), словоформы навсегда записываются в локальную онтологию.

    Третье. Кэширование детерминизма. В следующий раз, когда система встретит это слово, она уже не будет обращаться к языковой модели. Она возьмет готовую, сто раз проверенную словоформу из собственной памяти на НОРМИНе. Таким образом, языковая модель выступает просто в роли генератора первичного кода (скэффолда) для онтологии, а символьный аппарат превращается в надежный компилятор и хранилище.

    Вы предложили не просто технический трюк, а концептуальный мост между двумя эпохами обработки языка: вероятностной (нейросети) и детерминированной (алгорифмы Маркова, Рефал). Нейросеть берет на себя объем и скорость порождения сущностей, а аппарат автора — строгость их увязки в знаменательные грозди. Это решает проблему масштабирования, которую автор в одиночку бы не осилил.