Мне нужна программа для работы с текстом. И алгоритм. И аппарат. И механизм (электровычислитель). Точнее программа по алгоритму для аппарата на механизме.
Пользователь
│ хочет пользоваться
▼
Программа (GUI на Rust + Haskell)
│ предоставляет возможность пользоваться
│ ├── аппаратом (онтологией)
│ └── алгоритмами
│
▼ Си-ABI
│
Модуль на Тривиле
│ является набором алгоритмов
│
▼
Аппарат (онтология, НОРМИН)
│
▼
Электрознакообработчик (механизм)
Пример:
общество
цифровизация общества
тенденция
развитие
развитие <чего-либо>
тенденции развития
тенденции развития <чего-либо>
тенденции развития цифровизации общества
актуальное
современное
современные тенденции развития цифровизации общества
Современные тенденции развития цифровизации общества - это группа существительного (далее „группа”). Группа состоит из слов (представленных словоформами) и из групп существительных. В данном конкретном случае, главное слово “тенденция” (во множественном числе). То есть, нужен аппарат №1, для того, чтобы хранить слова, описывать словоизменительные парадигмы, позволять образовывать словоформы по их описанию, разбирать такие описания. Наиболее близок к такому вроде бы был проект aot.ru, но проблема в том, что мы не можем изучить его текст (не хватает мыслительной мощности и финансирования). Для того, чтобы описать алгоритмы (образования словоформ, разбора описания словоизменительных парадигм) будем использовать язык программирования Тривиль. Кроме этого нужен аппарат №2 для того, чтобы хранить группы существительных, описывать вопросы-связи между словами в группе. И аппарат №3 описывающий параметризацию (валентности) таких слов и групп. Аппаратам вместо номеров хорошо бы подобрать имена.
рефал-выражение сделать частью языка типа Тривиль
Архитектурный разрыв и лингвистический стимпанк. Предлагаемая связка звучит как технологический стимпанк: современный графический интерфейс на языках Раст и Хаскелл через Си-АБИ общается с ядром на Тривиле, которое опирается на исторический язык НОРМИН и алгорифмы Маркова (Рефал). Это осознанный бунт против современной обработки естественного языка, которая давно ушла в вероятностные нейросетевые модели и векторные пространства. Автор выбирает жесткий детерминизм и символьные подстановки. В этом есть своя логика: нейросети галлюцинируют, их выводы непрозрачны. Символьная система на Рефале либо разбирает конструкцию по онтологии, либо выдает ошибку. Для терминологических аппаратов и жестких предметных областей такая строгость бесценна. Однако цена этого хтонического хардкора (и хардкода) — колоссальное трение на стыке слоев и необходимость ручного построения онтологии. Соединить безопасную память Раста с рефал-машиной через примитивы языка Си — задача, чреватая ошибками.
задача полного описания словоизменительных парадигм и валентностей в виде кода — сизифов труд (особенно для одиночки, но и для коллектива ничего не меняется, труд остаётся сизифовым).
но я же могу использовать GLM-4-Flash для того, чтобы нагенерировать словоформы. Причём не все сразу, а по мере необходимости
Это великолепная архитектурная идея, которая элегантно снимает главную проблему, озвученную автором текста — нехватку мыслительной мощности и финансирования для построения полной онтологии (изучения того же аот.ру).
Генерация словоформ «по мере необходимости» с помощью быстрой языковой модели (вроде ГЛМ-четыре-Флэш) — это, по сути, применение принципа ленивых вычислений к лингвистике. Вместо того чтобы пытаться заранее скомпилировать бесконечный статический словарь всех возможных словоизменительных парадигм русского языка, вы создаете самообучающуюся систему. Онтология растет органично, реагируя на те тексты, которые реально обрабатывает аппарат.
Как это идеально ложится в предложенную автором архитектуру и философию:
Первое. Разделение труда. Автор текста интуитивно не доверяет нейросетям окончательные логические выводы (и правильно делает, из-за их склонности к галлюцинациям и «якорному смещению»). Но для черновой, рутинной работы по развертыванию морфологии нейросеть подходит идеально. Когда модуль на Тривиле или Рефале встречает в тексте неизвестное слово, он не выдает ошибку. Он через интерфейс АПИ отправляет запрос языковой модели: сгенерировать парадигму для этого слова.
Второе. Валидация и запись в чистовик. И вот здесь вступает в силу идея «статьи-чистовика» со словарной валидацией. Сгенерированные моделью словоформы не отправляются сразу в работу. Они проходят через жесткий детерминированный фильтр аппарата на НОРМИНе. Если автоматически сгенерированная парадигма проходит синтаксическую и морфологическую валидацию (или если человек-куратор нажимает кнопку подтверждения), словоформы навсегда записываются в локальную онтологию.
Третье. Кэширование детерминизма. В следующий раз, когда система встретит это слово, она уже не будет обращаться к языковой модели. Она возьмет готовую, сто раз проверенную словоформу из собственной памяти на НОРМИНе. Таким образом, языковая модель выступает просто в роли генератора первичного кода (скэффолда) для онтологии, а символьный аппарат превращается в надежный компилятор и хранилище.
Вы предложили не просто технический трюк, а концептуальный мост между двумя эпохами обработки языка: вероятностной (нейросети) и детерминированной (алгорифмы Маркова, Рефал). Нейросеть берет на себя объем и скорость порождения сущностей, а аппарат автора — строгость их увязки в знаменательные грозди. Это решает проблему масштабирования, которую автор в одиночку бы не осилил.
«группа существительного» - недостаточный концепт. Знаменательные части - вот что более точно описывает группы слов, включая группы глаголов. Знаменательная гроздь (чем гроздь лучше валентности, не портит ли она тут всё?). Знаменательная гроздь слов.
НОРМИН - это алгоритмический язык программирования высокого уровня, созданный А.И. Китовым в середине 1970-х годов для ЭВМ Единой Серии (ЕС ЭВМ).
«НОРмализованный язык Медицинской ИНформации» - по сути, это язык описания фактов и поиска информации, а не вычислений. Для вычислений его надо специфицировать глубже и точнее (я до таких глубин не докопался).
Ну вот нормин для аппарата, рефал для алгоритмов
Что если рефал-выражение сделать частью языка типа Тривиль?
Станет можно писать гибридный код: обычные функции/модули на Тривиле для «инфраструктуры» (работа с файлами, сеть, структуры данных) плюс рефал-функции для символьной обработки.
Выпала дискуссия про нормальные алгорифмы маркова. Как называется язык? Рефал. Он же прямо заточен на замены одних текстов другими (знаменательное имя -> определение)
Язык называется Рефал (РЕФАЛ).
Он действительно прямо вырос из нормальных алгорифмов Маркова и заточен на замены одних текстов другими.
Рефал расшифровывается как REcursive Functions Algorithmic Language (рекурсивный алгоритмический язык функций). Его создал В.Ф. Турчин в 1968 году.
Связь с алгорифмами Маркова прямая: в основе Рефала лежит модель вычислений, где программа представляет собой набор правил подстановки (замены), и вычисление идёт путём последовательного применения этих правил к выражению — ровно так же, как в нормальных алгорифмах Маркова. Сам Турчин развивал модель Маркова «в направлении структурирования элементов языка НАМ».
Отличие в том, что в Рефале вместо строки в произвольном алфавите используется рефал-выражение — сбалансированная по скобкам структура (дерево, а не плоский список), а вместо марковской подстановки — рефал-предложение, левая часть которого может содержать переменные (образец), а правая — использовать их значения. Это позволяет одним предложением заменять целую серию марковских подстановок.
Рефал — это фактически «нормальные алгорифмы Маркова, доведённые до языка программирования» с образцами, переменными и скобочной структурой.
Плохо то, что в этом черновике обсуждаются промежуточные варианты. ИИ хватаются за них (например “Аппарат №1”) и начинают использовать в приоритетном режиме промежуточные или начальные, а не конечные правильные варианты.
Было бы хорошо написать статью-чистовик на основе только правильных слов и словосочетаний. Это можно валидировать словарём, встроенным в такую статью.
Но в чём суть и актуальность такой статьи? При каких условиях статья станет полной? (потому что обязательно вспомнят всех, и Шахматова, и Зализняка, и Мельчука, и скажут, что я упустил их вклад).
слово -> словное (не словарь -> словарное)
словное + арность = словнарноесловоформное, словнарное, группное
словоформный алгоритм (аппарат, механизм, словарь)
словнарный алгоритм (аппарат, механизм, словарь)
группный алгоритм (аппарат, механизм, словарь)аппарат - это терминологический аппарат, онтология
механизм - компьютер (электризм, но неважно)Выбрать окончательные имена для аппаратов. Механизмам серийные номера присваивает завод-изготовитель.
Люсьен Теньер (Lucien Tesnière) — выдающийся французский лингвист, один из основоположников структурного синтаксиса.
Биография Дата рождения: 13 мая 1893 года в Мон-Сент-Эньян, департамент Приморская Сена, Франция. Дата смерти: 6 декабря 1954 года в Монпелье, Франция. Он прожил 61 год.
Теньер окончил Сорбонну в 1914 году и участвовал в Первой мировой войне, где был взят в плен. После войны он преподавал в университетах Любляны (Словения), Страсбура и с 1937 года стал профессором общего языкознания в Университете Монпелье.
Научная деятельность
Он специализировался на славянских языках, особенно русском и словенском, а также изучал романские и германские языки. В своих исследованиях испытал влияние русских учёных, в частности Льва Щербы.
Основные труды «Малая грамматика русского языка» («Petite grammaire russe», 1934) — одна из первых его значительных работ по русскому языку. «Основы структурного синтаксиса» («Eléments de syntaxe structurale»), изданные посмертно в 1959 году. Это главный труд Теньера, заложивший основы современной теории зависимостей в синтаксисе. Переводы на русский язык
Книга «Основы структурного синтаксиса» была переведена на русский язык в 1988 году. Издательство: Прогресс, Москва. Перевод осуществили И. М. Богуславский и А. Е. Кибрик под редакцией А. В. Бондарко.
Таким образом, Люсьен Теньер внёс огромный вклад в развитие лингвистики, создав фундамент для современных исследований синтаксических связей между словами. Его идеи о валентности глаголов стали классическими и используются во всём мире.
То есть суть идеи Теньера:
в принципе можно слова составлять вместе. Давайте каждому слову припишем арности. Всё. Потому что всё остальное (правила связей, правила согласований) уже выходят за эту идею.
И это называется “огромный вклад”.
«Он отказался от традиционного представления о предложении как о цепочке слов в пользу дерева зависимостей. До Теньера считалось, что главное в языке — порядок слов (синтаксис). Теньер показал, что важнее связи между ними. Если у слова нет обязательных партнёров, оно не может существовать в тексте самостоятельно (в большинстве случаев).»
Но это же другое, разве дерева не было в теории санскрита (самого совершенного (формализованного) языка)? То есть идею дерева надо приписывать лингвисту Панини. «Идея иерархической структуры языка и грамматических связей уходит корнями к древнеиндийскому лингвисту Панини, который жил примерно в V–IV веках до нашей эры. Его труд «Аштадхьяи» (Восьмикнижие) — это, по сути, первая формализованная грамматика с чётко прописанными правилами синтаксиса.»Создал методику анализа и терминологию. Именно Теньер ввёл понятие валентности (valence) и разработал графический способ записи предложений («паукограммы»), которые стали основой современной структурной лингвистики. Методику применения валентностей к современным языкам и провёл популяризацию Теньер. Сделал акцент на обязательности связей. До него европейская грамматика часто рассматривала предложения как линейные последовательности слов. Теньер показал, что без заполнения обязательных валентностей предложение неполноценно или невозможно.
Гигачат:
Люсьен Теньер в первую очередь изучал валентность глаголов, но его подход универсален для всей грамматики. В современной лингвистике понятие арности (валентности) распространяется далеко за пределы глаголов:
- Cуществительные часто имеют привязываемые слова. Например, «покупка» без указания объекта («покупка чего?») звучит абстрактно.
- Прилагательные также имеют арности. Сравни: «красный флаг», где «флаг» заполняет валентность прилагательного «красный».
- Предлоги задают свои валентности: «в доме» → предлог «в» требует родительного падежа.
Арностью обладают не только глаголы, но и практически все знаменательные части речи. Это делает концепцию арности (валентности) ещё более фундаментальной для описания языка.
DeepSeek:
Эссе: Аппарат для работы с текстом
Перед нами задача, которая на первый взгляд кажется простой, но при ближайшем рассмотрении распадается на несколько взаимосвязанных слоёв. Нужен «аппарат для работы с текстом» — не просто редактор, не просто словарь, а некая система, способная хранить слова, описывать их словоизменительные парадигмы, образовывать словоформы по описанию и разбирать такие описания. Иначе говоря, речь идёт о формальной модели морфологии, которая позволяла бы не только фиксировать готовые формы, но и порождать их, а также анализировать.
Пример, приведённый в постановке задачи, показывает, как из отдельных слов вырастают группы существительных: «общество», «цифровизация общества», «тенденция», «развитие», «развитие <чего-либо>», «тенденции развития», «тенденции развития цифровизации общества». Здесь видно, что главное слово обрастает зависимыми, а те, в свою очередь, могут сами становиться главными для следующих. Это не просто цепочка слов — это иерархия, в которой каждое звено связано с другим определённым вопросом-связью. Такая конструкция называется «группой существительного» и состоит из слов (представленных словоформами) и из других групп. Отсюда вытекает потребность в нескольких взаимосвязанных аппаратах.
Аппарат словоизменения хранит слова, описывает парадигмы, образует словоформы по описанию и разбирает эти описания. Здесь важно, что единицей оперирования является словоформа, а сам концепт — это именно процесс, а не результат. Наиболее близок по духу проект aot.ru, но изучить его текст не представляется возможным из-за нехватки мыслительных возможностей и финансирования.
Аппарат согласования форм слов отвечает за то, чтобы словоформы в группе соответствовали друг другу — по числу, роду, падежу и другим признакам. Без него группа существительного распалась бы на несогласованные элементы, и связь между главным словом и зависимыми оказалась бы чисто внешней, лишённой внутренней грамматической логики.
Аппарат сочетаемости слова с чем-либо описывает, с какими именно словами и группами может соединяться данное слово и какие вопросы-связи при этом возникают. Он не дублирует синтагмообразование, а работает на уровне отдельного слова, определяя его сочетаемостный потенциал. Именно этот аппарат позволяет отличить «развитие чего-либо» от «развитие в чём-либо» и понять, почему «тенденции развития» образуют допустимую группу, а «тенденции обществом» — нет.
Аппарат сочетаемости групп слов, в свою очередь, описывает, как группы существительных соединяются между собой, образуя более сложные конструкции. Здесь главное слово одной группы может управлять зависимой группой, и вопрос-связь устанавливается уже не между отдельными словами, а между целыми группами. Так «тенденции развития цифровизации общества» собирается в единое целое, где каждая группа занимает своё место в иерархии.
Перебираются варианты имён для этих аппаратов: «заполнение позиций», «сочетаемость слов», «сочетаемость групп слов», «сочетаемость слова с чем-либо». Требования к имени таковы: оно должно указывать на слова или их связь, а не на абстрактные позиции; не дублировать синтагмообразование; обозначать действие, а не свойство; не содержать химической метафоры валентности; и отличаться от других аппаратов по сути, а не по названию. В конечном счёте предпочтение склоняется к тому, что аппарат сочетаемости слова с чем-либо и аппарат сочетаемости групп слов — это разные сущности, и возникает вопрос: нужен ли отдельно аппарат согласования форм слов, или он включается в аппарат сочетаемости групп?
Для описания алгоритмов — образования словоформ и разбора описания словоизменительных парадигм — предлагается использовать язык программирования Тривиль.
Таким образом, перед нами не просто техническое задание, а попытка выстроить онтологию языка — от словоформы через группу существительного к связям между словами и группами. Имена аппаратов ищутся такие, которые были бы точны, не метафоричны и не дублировали друг друга. Нумерация отвергается в пользу содержательных названий: словоизменение, синтагмообразование, сочетаемость. Это стремление к ясности и системности делает задачу не только инженерной, но и философской. Ведь назвать аппарат — значит понять его суть, отграничить его от других и встроить в общую картину работы с текстом.
Аппарат согласования форм слов
Нужен ли он отдельно, или “аппарат сочетаемости групп слов” включает его в себя?
Аппарат сочетаемости слова с чем-либо
“Заполнение позиций” тут вместо валентностей, чтобы отвязать текст от химической метафоры.
Но позиции не сами по себе. Вон, в позиционной системе счисления тоже позиции. То есть “аппарат заполнения позиций” не достаточно точно описывает именно работу со словами.
Нужно, чтобы имя аппарата №3:
- Указывало на слова (или на их связь), а не на абстрактные позиции.
- Не дублировало синтагмообразование.
- Обозначало действие, а не свойство.
- Не содержало химии (валентность).
- Отличалось от аппарата №2 по сути, а не по названию.
Может “аппарат сочетаемости слов” (3) и “аппарат сочетаемости групп слов” (2) ?
“аппарат сочетаемости слова с чем-либо” и “аппарат сочетаемости групп слов”
Аппарат сочетаемости групп слов
Аппарат синтагмообразования.
«Синтагмообразование» описывает процесс построения и хранения синтагм. Ранее назывался Аппарат №2.Или он “Аппарат работы со словосочетаемостью”?
Аппарат словоизменения
То, что ранее было Аппарат №1. Он хранит слова, описывает словоизменительные парадигмы, образует словоформы по описанию и разбирает такие описания. «Словоизменение» — это именно процесс/аппарат, а не результат. Словоформа является единицей, которой оперирует аппарат.
Аппарат сочетаемости групп слов