大数据量备份和搬家

燃烧的冰2020-04-16  442

好久没吹牛了,憋得有点透不过气,适当吹牛,可解乏、可有效缓解疲劳!


如果好久没看到我吹牛,说明我在搞事。如果看到我吹牛,那说明搞上或搞好了或者预产期快到了。


一直有人问或者说没有数据库备份功能,我不想喷也不能喷,因为你没遇到过大数据量,不能怪你。对于几百GB以上、TB级别的大数据量不能用web程序备份,原因是效率低且容易崩。不管是备份过程崩,还是恢复数据过程崩,哪个崩法都会让你发疯!还有中途断电断网怎么办?


使用容灾备份机制,一般大的服务商都有这个机制。但是一定记得容灾不能替换备份,容灾系统会完整地把生产系统的任何变化复制到容灾端去,包括不想让它复制的工作,比如不小心把计费系统内的用户信息表删除了,同时容灾端的用户信息表也会被完整地删除。如果是同步容灾,那容灾端同时就删除了;如果是异步容灾,那容灾端在数据异步复制的间隔内就会被删除。这时就需要从备份系统中取出最新备份,来恢复被错误删除的信息。因此容灾系统的建设不能替代备份系统的建设。


常用的灾备组合方式,业界在灾备系统的建设上一般按照以下几种方式:

1.建设机房内的本地备份系统

2.建设异地的备份系统

备份系统+异地容灾系统,是一个较为理想化的容灾系统一体化解决方案,能够在很大程度上避免各种可能的错误。


备份是指为防止系统出现操作失误或系统故障导致数据丢失,而将全系统或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。备份是数据高可用的最后一道防线,其目的是为了系统数据崩溃时能够恢复数据。


大数据量自己备份和整站搬家,一般都采用迁移库表结构和库表文件,说白了就是把服务器MYSQL对应站点的数据库,全部端走,下载本地也可以,两台服务器对传过去也可以。


linux系统

1.如果使用lnmp,MYSQL安装位置/usr/local/mysql/var/对应站点数据库

2.如果使用宝塔则在home/www/server/data/对应站点数据库

win服务器自行查找MYSQL安装位置,一般在MYSQL安装位置的data目录下


直接把整个数据库下载或对传到另一台服务器,即可实现备份或搬家,不管搬到哪里MYSQL版本注意对应,如需升级MYSQL版本,数据搬运成功后再做MYSQL升级,以免出错。


先在另一台服务器安装MYSQL,并创建对应的数据库、连接用户名和密码,然后使用命令行对传文件夹或文件,服务器之间对传比下载到本地再传要稳定、速度要快。


1、从本机传输文件到另外一个服务器:

scp  -P 8122 /usr/local/mysql/var/wellcms/well_attach.frm admin@10.12.20.25:/usr/local/mysql/var/wellcms


-P 8122指的是接收文件的服务器的端口号,如果两台服务器的端口号相同,则可省略该参数。


2、从本机传输文件夹到另外一个服务器:

scp -r   /usr/local/mysql/var/wellcms/ admin@10.12.20.25:/usr/local/mysql/var/wellcms


3、从本机传输文件夹下面的所有文件到另外一个服务器:

scp   /usr/local/mysql/var/wellcms/* admin@10.12.20.25:/usr/local/mysql/var/wellcms


4、对拷贝过去的文件重命名:

scp /home/wwwroot/wellcms/upload/website_attach/202001/1_2FPJ3HNUW28AQREB.jpeg admin@10.12.20.25:/home/wwwroot/wellcms/upload/website_attach/202001/1_2.jpeg


5、命令详解:

要传输的文件:/home/wwwroot/wellcms/upload/website_attach/202001/1_2FPJ3HNUW28AQREB.jpeg

admin:目标服务器ssh账号名

@后面:目标服务器的IP地址

IP后面:(冒号)要传输到目标服务器的文件保存目录

最新回复(2)