Архивация текста через инференс llama.cpp

Вот важная новость с фронта ИИ: virex 14 часов назад Архивация текста через инференс llama. cpp Простой 26 мин 6. 1K Алгоритмы * Искусственный интеллект C# * Обзор КДПВСтатья напичкана скучными непонятными формулами.

Не обращайте внимание. Сам пока не разобрался. ОглавлениеКлассические архиваторыRLE (Run-Length Encoding), 1960-е годаАлгоритм Хаффмана (Частота), 1980-е годаАлгоритм Лемпеля и Зива - LZ77, 1985 годDEFLATE, 1993 годПромежуточный вариантНейроархиваторыNNCP Фабриса БеллараАрхивируем ...

Технические детали

инференсомСохраняем битЧитаем битВосстанавливаем текстИтогоПослесловиеНа заре развития ПК, и в частности программного обеспечения, из-за дороговизны железа, для хранения большого количества информации умные люди придумали способы сжимать информацию без потерь. Так появились алгоритмы по сжатию информации, и собственно ПО реализующее эти алгоритмы - архиваторы. интернета дало возможность этой самой информацией обмениваться.

Интернет тоже вначале был не дешевым, поэтому сжатие информации (как при передаче файлов, так и при открытии сайта) пригодилось и тут. Ну а как же кровавый интерпрайз, где потеря информации без права восстановления, грозила бизнесу большими убытками? Бекапы данных занимают много места.

Спасибо алгоритмам архивации, они из здесь выручают. Игровая индустрия гоняясь за длинным рублём выкатывает игрушки размером в сотни гигабайт. Но и эту проблему распухшего контента нам обещают скоро решить нейросжатием текстур…Тема на первый взгляд не особо интересная: ничего нового нет, никакого развития, полная стагнация… Или, нет?

Отраслевые последствия

Давайте немного освежим знания. Тем более что в этой теме (к примеру у меня) познания остались где-то на уровне RLE. >> Классические архиваторыЛюбая информация: текст, фото, видео, аудио (и т.

) имеет избыточность, то есть повторяющиеся фрагменты, закономерности, паттерны. Это физически занимает драгоценное место: на диске, в ОЗУ, при передаче по сети (забивает канал передачи). Архиватор решает эту проблему, преобразуя повторяющиеся части в краткие записи - ссылки на уже встреченные точно такие же фрагменты.

Но это не единственный алгоритм сжатия, есть и другие. Классические архиваторы - это строгий алгоритм, как для сжатия, так и для распаковки. Давайте посмотрим примеры (мы не будем рассматривать алгоритмы сжатия с потерями, например JPEG).

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.