我有一个web应用程序,它被用作另一个应用程序的api来生成密集的数学计算。大多数计算都是矢量相似性计算,如scipy.space.distance.cdist。
问题是,这些计算是由一个外部应用程序触发的,它输入一组向量,我想为这些向量计算与一些(数百万)预计算向量的相似性。所以基本上我需要一种尽可能快地实现这些相似性的方法。我目前的解决方案是,将矩阵存储在Redis上,并在每次新的向量批到达时加载它,这是一种非常慢的方法你知道一个能快速存储大矩阵并能对其进行基本向量运算(加法、乘法、规范化)的解决方案吗?
到目前为止,我已经找到了ElasticSearch和Spark MLlib,它们可能是合适的但在我寻求解决方案之前,我想知道我是否遗漏了一个你们可能知道的显而易见的问题。
