Py学习  »  MongoDB

如何将mysql中存储的300-400k数据拉入mongodb

J. Doe • 6 年前 • 1941 次点击  

我正在开发一个 spring boot 从远程提取数据的api mysql 数据库表。此表每天包含300K-400K数据。我们需要将这些数据迁移到 mongoDB 现在。我试过 GridFS 收藏技术 json 文件到 蒙哥大 . 我可以在本地机器上完成。但是当我在live服务器上尝试这个场景时, JVM 引发错误:

2018-12-18 17:59:26.206 ERROR 4780 --- [r.BlockPoller-1] o.a.tomcat.util.net.NioBlockingSelector  : 

java.lang.OutOfMemoryError: GC overhead limit exceeded
    at java.util.ArrayList.iterator(ArrayList.java:840) ~[na:1.8.0_181]
    at sun.nio.ch.WindowsSelectorImpl.updateSelectedKeys(WindowsSelectorImpl.java:496) ~[na:1.8.0_181]
    at sun.nio.ch.WindowsSelectorImpl.doSelect(WindowsSelectorImpl.java:172) ~[na:1.8.0_181]
    at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86) ~[na:1.8.0_181]
    at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97) ~[na:1.8.0_181]
    at org.apache.tomcat.util.net.NioBlockingSelector$BlockPoller.run(NioBlockingSelector.java:339) ~[tomcat-embed-core-8.5.14.jar:8.5.14]

2018-12-18 17:59:27.865 ERROR 4780 --- [nio-8083-exec-1] o.a.c.c.C.[.[.[.[dispatcherServlet]      : Servlet.service() for servlet [dispatcherServlet] in context with path [/datapuller/v1] threw exception [Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: GC overhead limit exceeded] with root cause

java.lang.OutOfMemoryError: GC overhead limit exceeded

我试图用 -Xmx3048m 通过开放 java 来自控制面板的实用程序。但结果是一样的。下一步我该怎么做才能解决这个问题。我没有在这里发布代码,因为我希望一切正常,因为它在本地机器上运行正常,有60K到70K的记录数据。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/40474
文章 [ 1 ]  |  最新文章 6 年前