Delta Lake 4.3: Выборочная замена данных и API-интерфейсы каталога Unity Delta

Значимый прорыв формирует отрасль ИИ: Методы replaceUsing и replaceOn обеспечивают более удобный способ перезаписи, а каталог теперь проверяет каждую операцию, а не только фиксацию. 3 состоялся в июне 2026 года, и он основан на Apache Spark 4. Если прочитать примечания к выпуску от начала до конца, вы увидите длинный список изменений, охватывающих Delta Spark, ядро, UniForm, Sharing и Flink, который легко принять за релиз с исправлениями, дополненный описанием каталога обновлений.

Два момента заслуживают вашего внимания, и они находятся на противоположных концах стека. Первый — небольшой и сразу полезный: replaceUsingнаконец replaceOn-то API DataFrame получает возможность выборочной перезаписи, которая не является replaceWhere. Второй — структурный: теперь каждая операция с таблицей, управляемой каталогом, проходит через API Unity Catalog Delta , а не только фиксация изменений.

Технические детали

2 фиксации изменений были скоординированы с каталогом. 3 остальная часть интерфейса, загрузка таблиц, CREATE, CTAS, REPLACE, и запись метаданных, объединены в один проверенный путь. В этой статье рассматривается версия 4.

3 с точки зрения разработчика конвейера: какие изменения в коде вы вносите, какие изменения происходят под вашим контролем и что следует проверить перед обновлением. Приводятся примеры testing. defaultдля каталога и схемы, а также пример компании CH Enterprise.

Ссылки на исходный код находятся внизу.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.