2. 讨论
  3. 采集数据的入库问题求助【已解决】

采集数据的入库问题求助【已解决】交流

my67776372020-5-10 478

各位大哥

遇到个问题，目前每天用八爪鱼采集到近十万的数据，希望入库。

但是八爪鱼不支持网站发布模块。只支持导出csv和导出到数据库。

 

采集的内容都是文本

有什么办法可以让这批数据方便的入库吗

可付费，感谢  

最新回复(8)
  • 燃烧的冰2020-5-10
    2楼
    不能直接post数据吗？
  • cisgender2020-5-10
    3楼
    可以等管理员golang开发的在线采集服务，应该和wellcms无缝对接。
  • 燃烧的冰2020-5-10
    4楼
    cisgender 可以等管理员golang开发的在线采集服务，应该和wellcms无缝对接。
    暂时未确定是golang，可能我会用 rust 开发，顺便开源，自己用的就搞好点，不留后遗症。
  • my67776372020-5-14
    5楼
    已解决，找人写了个插件
    可以读取数据库中的数据，批量Post到wellcms内
    大致的数据流：
        1、采集器->通过mysql方式写入数据库A
        2、post.php 读取数据库A中的数据，批量post到入库接口
    插件可以免费分享
  • windfy2020-5-14
    6楼
    my6777637 已解决，找人写了个插件 可以读取数据库中的数据，批量Post到wellcms内 大致的数据流： 1、采集器->通过mysql方式写入数据库A 2、post.php 读取数 ...
    优秀
  • 燃烧的冰2020-5-14
    7楼
    也就是 wellcms 可以给你们这么造吧，每天几十万上百万数据灌，其他程序不知道会是什么结果。
  • my67776372020-5-15
    8楼
    燃烧的冰 也就是 wellcms 可以给你们这么造吧，每天几十万上百万数据灌，其他程序不知道会是什么结果。
    是的呀，WP几万数据就开始卡了。优化了下MYSQL，估计也就几十万顶天
  • lzwj20192020-7-16
    9楼
    my6777637 已解决，找人写了个插件 可以读取数据库中的数据，批量Post到wellcms内 大致的数据流： 1、采集器->通过mysql方式写入数据库A 2、post.php 读取数 ...
    分享一个呗！谢谢！加一下QQ如何？
返回
发新帖