CKKS для приближенной арифметики и машинного обучения

BGV/BFV работают над целыми числами и обеспечивают точную арифметику. В машинном обучении используются числа с плавающей точкой и приближённая арифметика. CKKS (Cheon-Kim-Kim-Song, 2017) кодирует действительные и комплексные числа и допускает контролируемую потерю точности, что идеально подходит для вывода моделей машинного обучения и анализа данных.

CKKS рассматривает шум как часть точности кодирования. Вместо устранения шума с помощью исправления ошибок CKKS интерпретирует результат как приближение с гарантированными границами точности. Такой компромисс делает HE значительно эффективнее для вычислений над непрерывными значениями.

CKKS кодирует вектор комплексных чисел как многочлен: вектор (z_0, ..., z_{n/2-1}) отображается с помощью обратного FFT в многочлен над R. Коэффициент масштабирования Δ (например, 2^40) преобразует числа с плавающей точкой в целые числа. В каждом шифротексте содержится n/2 слотов для действительных чисел.

После умножения коэффициент масштабирования удваивается: Δ^2. CKKS выполняет операцию изменения масштаба: делит на Δ, возвращая исходный масштаб. Это также уменьшает уровень модуля шифротекста, подобно переключению модуля в BGV, и не даёт шифротексту стать слишком большим.

Каждое умножение расходует один уровень модуля и уменьшает точность примерно на log2(Δ) бит. Для схемы глубины L с коэффициентом масштабирования Δ = 2^40 общая потеря точности составляет примерно L*40 бит. Начальный модуль Q следует выбирать достаточно большим, чтобы учесть этот бюджет точности.

Линейные слои (умножение матрицы на вектор): эффективны благодаря вращению и накоплению. Функции активации (ReLU, сигмоида): требуется полиномиальное приближение. ReLU: приближается полиномом Чебышёва 7-й степени. Потеря точности составляет примерно 0,1–1% по сравнению с выводом на открытых данных.

Больница шифрует данные пациента с помощью открытого ключа CKKS. Облако запускает диагностическую нейронную сеть на зашифрованных данных, используя операции CKKS. Затем оно возвращает зашифрованный результат прогнозирования. Больница расшифровывает его с помощью закрытого ключа. Облако никогда не видит данные пациента или открытый результат диагностики.

Рекомендация HEAAN/OpenFHE: n=2^15 (32768) для глубоких схем машинного обучения. Цепочка модулей: начальный Q ≈ 2^1500 для 30 уровней умножения при Δ=2^50. Безопасность: 128 бит при предположении, что CKKS с такими параметрами столь же трудна для взлома, как RLWE. Память: шифротекст занимает около 1 MB.

Бутстрэппинг CKKS (Cheon и др., 2018) гомоморфно вычисляет приведение по модулю, обновляя шифротекст. Сложность определяется вычислением синусоидальной функции с помощью полиномиального приближения над комплексными числами. Это обеспечивает неограниченную глубину схемы примерно за 30 секунд на один сеанс бутстрэппинга.

BFV: точные целые числа, целочисленные открытые тексты, отсутствие потери точности. CKKS: приближённые действительные и комплексные числа, открытые тексты с плавающей точкой, уменьшение точности с ростом глубины. Используйте BFV для баз данных, запросов и точных вычислений. Используйте CKKS для машинного обучения, статистики и научных вычислений.

HEAAN (исходная реализация CKKS, Сеульский национальный университет). Microsoft SEAL (CKKS и BFV). OpenFHE (CKKS, BGV и BFV). Concrete-ML (Zama.ai, обёртка над OpenFHE для моделей scikit-learn и PyTorch). TF-HE (эксперименты по интеграции TensorFlow и HE).

Почему CKKS предпочитают BFV для вывода моделей машинного обучения?

CKKS поддерживает приближённую арифметику над действительными числами, что идеально подходит для вывода моделей машинного обучения и статистики над зашифрованными данными. Изменение масштаба управляет коэффициентом масштабирования, а полиномиальные приближения заменяют функции активации. Далее: постквантовая криптография — алгоритмы Шора и Гровера.