冰哥大神,intodb.php好像没有对标题去重,可以重复入库的?

bluemaple2020-7-9 303

RT,哈哈,我看了下应该是可以重复入库的。如果要去重,是不是要用well_thread__read先对一下相同标题的是否存在?判断一下。

分享一下:

$tmp_thread = well_thread__read(array('fid' => $fid, 'subject' => $subject));
    if($tmp_thread){
        exit('标题已存在!!');
    }

如果有更高效率的办法,请大神指点一下,哈哈

最新回复(8)
  • 燃烧的冰2020-7-10
    2
    标题本来就可以重复

    这样使用的姿势不对,数据库没有索引,这种索引你加的起吗?
  • bluemaple2020-7-10
    3
    燃烧的冰 标题本来就可以重复 这样使用的姿势不对,数据库没有索引,这种索引你加的起吗?
    就是不希望他可以入库重复,我写得入库脚本没采集记录的。
    暂时用我上面的代码就没重复了。
    数据库没有索引是啥意思?wellcms的数据库?
  • bluemaple2020-7-10
    4
    燃烧的冰 标题本来就可以重复 这样使用的姿势不对,数据库没有索引,这种索引你加的起吗?
    大佬的意思是不是一旦数据量大了之后,我这种做法就会导致查询很慢很卡,是这样的意思吗?
    请教冰哥大神有什么办法可以不重复入库
  • 燃烧的冰2020-7-10
    5
    标题重复内容不重复就行了,你自己采集,还重复采集同一个干嘛。就算你多线程采集,你可以分开栏目采集。
  • bluemaple2020-7-11
    6
    燃烧的冰 标题重复内容不重复就行了,你自己采集,还重复采集同一个干嘛。就算你多线程采集,你可以分开栏目采集。
    定时采集对方站的,肯定会存在重复的,只能采集器脚本那边做网址存储了,然后每次都查询一次?而不是查询wellcms的?求大佬指导个方案
  • 燃烧的冰2020-7-11
    7
    把对方链接存md5值,同一个链接采集一次
  • bluemaple2020-7-11
    8
    燃烧的冰 把对方链接存md5值,同一个链接采集一次
    大神的意思就是我采集机保存一份链接的数据库,是否重复查这个,不在网站那端判断,是这样吗?
    这样数据多了,应该也会卡的吧
  • 极客主题2020-7-13
    9
    燃烧的冰 把对方链接存md5值,同一个链接采集一次
    没用的
    对方存在同一篇文章发布2次的情况。
    这种是很常见的。
返回
发新帖