Решение задачи удаления избыточных терминов в заданном контекте без потери информации. Примеры в Colab

В сфере искусственного интеллекта произошло заметное событие. asiver 38 минут назад Решение задачи удаления избыточных терминов в заданном контекте без потери информации. Примеры в Colab Средний 4 мин 27 Машинное обучение * Исследования и прогнозы в IT * Туториал Recovery Mode Как известно, LLM - это машина, которая “видела” “весь Интернет”, много чего запомнила и много чему научилась. Задавая ей правильные вопросы можно получать “правильные” ответы (где “правильные” стоит понимать в статистическом смысле).

Широта и универсальность таких способностей дает возможность ставить новые универсальные задачи и получать общее решение таких задач. В этой статье рассмотрим универсальную задачу “удаления избыточных терминов из заданного списка без потери информации в рамках заданной перспективы”. Эта задача рано или поздно появляется у всех, кто разрабатывает документацию, и перед кем стоит задача изложить материал и передать его другим людям как можно проще, логичнее, оптимальнее.

Технические детали

Такая задача также возникает, когда требуется объединить ответы от разных LLM, заданные как список терминов. В каком-то смысле это обратная задача к задаче генерации информации и можно ожидать, что с ростом количества сгенерированной информации потребность в решении такой задачи будет также возрастать. Постановка задачи: дан список терминов и задана перспектива рассмотрения.

Требуется удалить из списка избыточные термины, которые не несут дополнительной информации с точки зрения этой перспективы, сохранив при этом всю существенную информацию. Иными словами, нужно найти минимальное подмножество терминов, которое покрывает смысл всех остальных терминов (и тем самым полностью отражает содержание исходного списка терминов в рамках заданной перспективы). С точки зрения мета-знаний задача представляется следующим образом:из описание перспективы требуется определить полные детали перспективы: 1.

point_of_view - точка зрения наблюдателя — это позиция, с которой рассматривается или оценивается информация, определяющая, какие термины считаются избыточными в заданном контексте 2. basis_of_consideration - основание рассмотрения - это совокупность критериев и принципов, определяющих, какие термины считаются избыточными и подлежат удалению, а какие сохраняются для обеспечения полноты информации в рамках заданной перспективы 3. perspective_observer_strategy - стратегия наблюдателя, которая дополняет определение перспективы рассмотрения basis_of_consideration и perspective_observer_strategy введены дополнительно к point_of_view, т.

Отраслевые последствия

известно, что простой точки зрения наблюдателя для определения полной перспективы рассмотрения недостаточно. для каждого термина из заданного списка требуется определить отношения этого термина к другим терминам. Как известно из теории Логики: всё, что человек может помыслить является, либо “понятием”, либо “атрибутом” понятия, либо “отношением” между понятиями.

Стоит отметить, что все LLM это знают, понимают и используют смысл категорий понятие", “атрибут” и “отношение”.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.