2025-11-13T11:46:11.189224

Representation Theorem for Matrix Product States

Guo, Draper

In this work, we investigate the universal representation capacity of the Matrix Product States (MPS) from the perspective of boolean functions and continuous functions. We show that MPS can accurately realize arbitrary boolean functions by providing a construction method of the corresponding MPS structure for an arbitrarily given boolean gate. Moreover, we prove that the function space of MPS with the scale-invariant sigmoidal activation is dense in the space of continuous functions defined on a compact subspace of the $n$-dimensional real coordinate space $\mathbb{R^{n}}$. We study the relation between MPS and neural networks and show that the MPS with a scale-invariant sigmoidal function is equivalent to a one-hidden-layer neural network equipped with a kernel function. We construct the equivalent neural networks for several specific MPS models and show that non-linear kernels such as the polynomial kernel which introduces the couplings between different components of the input into the model appear naturally in the equivalent neural networks. At last, we discuss the realization of the Gaussian Process (GP) with infinitely wide MPS by studying their equivalent neural networks.

academic

Representation Theorem for Matrix Product States

基本信息

论文ID: 2103.08277
标题: Representation Theorem for Matrix Product States
作者: Erdong Guo, David Draper (University of California, Santa Cruz)
分类: stat.ML cs.LG cs.NE quant-ph
发表时间: 2021年3月15日 (arXiv预印本)
论文链接: https://arxiv.org/abs/2103.08277

摘要

本文从布尔函数和连续函数的角度研究矩阵乘积态(Matrix Product States, MPS)的通用表示能力。作者证明了MPS可以精确实现任意布尔函数，并为任意给定的布尔门提供了相应MPS结构的构造方法。此外，还证明了具有尺度不变sigmoid激活函数的MPS函数空间在n维实坐标空间的紧子集上定义的连续函数空间中稠密。研究了MPS与神经网络的关系，表明带有尺度不变sigmoid函数的MPS等价于配备核函数的单隐层神经网络。最后，通过研究等价神经网络讨论了无限宽MPS实现高斯过程(GP)的问题。

研究背景与动机

问题背景

张量网络的兴起: 张量网络作为表示多体量子系统的强大图形语言，在量子信息、凝聚态物理、应用数学和计算机科学等多个领域都得到了广泛应用。
MPS的表示能力问题: 虽然MPS在量子物理中具有重要的物理意义，但当将其作为机器学习中的代数工具时，一个自然的问题是：MPS作为代数机器的表示能力有多强？
通用逼近理论的需求: 类似于神经网络的通用逼近定理，需要从理论上证明MPS的表示能力边界。

研究动机

填补理论空白: 现有研究主要关注MPS的物理性质，缺乏对其作为函数逼近器的理论分析。
建立MPS与神经网络的联系: 探索MPS与经典机器学习模型(特别是神经网络)之间的等价关系。
实用性考量: 在实际应用中，完备基通常是无限维的，需要研究在温和假设下MPS能"张成"多大的函数空间。

核心贡献

布尔函数的精确表示: 证明了MPS可以精确实现任意布尔函数，并提供了构造性证明方法。
连续函数的通用逼近: 证明了带有尺度不变sigmoid激活的MPS函数空间在连续函数空间中稠密(关于上确界范数)。
MPS与神经网络的等价性: 建立了MPS与单隐层神经网络的等价关系，揭示了核函数在MPS中的自然出现。
高斯过程的实现: 通过无限宽MPS讨论了高斯过程的实现问题。

方法详解

MPS模型定义

标准MPS结构

原始MPS模型定义为： $\Psi_l(x|w,B) = \sum_{\{\alpha,s\}} A^{s_1}_{\alpha_1\alpha_2} \cdots A^{s_i}_{l\alpha_i\alpha_{i+1}} \cdots A^{s_n}_{\alpha_n\alpha_1} \Phi^{s_1\cdots s_n}(x)$

其中核函数定义为： $\Phi^{s_1\cdots s_n}(x) = \phi^{s_1}(x_1) \otimes \cdots \otimes \phi^{s_i}(x_i) \cdots \otimes \phi^{s_n}(x_n)$

修正MPS结构

为了实现通用逼近，作者提出修正的MPS结构： $\Psi(x|w,B) = \sum_l \sigma\left(\sum_{\{\alpha,s\}} A^{s_1}_{\alpha_1\alpha_2} \cdots A^{s_i}_{l\alpha_i\alpha_{i+1}} \cdots A^{s_n}_{\alpha_n\alpha_1} \Phi^{s_1\cdots s_n}(x)\right)$

其中 $\sigma(\cdot)$ 是尺度不变的sigmoid函数： $\sigma(x) \to \begin{cases} 0 & x \to -\infty \\ C & x \to +\infty \end{cases}$

布尔函数表示方法

基本布尔门的实现

AND门实现 (定理2.1):

核函数： $\phi_i(X_i) = [X_i, 1-X_i]$
张量节点： $A^{s_i} = [1, 0]$ ，键维数 $|\alpha| = 1$

OR门实现 (定理2.2):

核函数： $\phi_i(X_i) = [X_i, 1-X_i]$
张量节点键维数： $|\alpha| = 3$
具体张量结构： $A^{s_1}_{\alpha_1\alpha_2} = [[1, 0, 1], [0, 1, 0]]$ $A^{s_2}_{\alpha_2\alpha_1} = [[0, 1, 1], [1, 0, 0]]$