Zeno

如何克隆一个网站全站或部分内容(做网站镜像)

我们会有这种需求,看到有个网站很多文章内容不错,想把它们全部保存下来在手机上或电脑上有空看,但是不想联网看,或者我们想在公司内网搭个网站,和这个网站内容一模一样,方便公司人员阅读,这时候我们如何做这个网站的镜像呢?

网上当然有很多工具能用,但很多都是收费的,我们考虑一个免费小巧的工具来实现我们的要求,那就是Linux上一个有名的工具wget。

一、用WGET做网站镜像

这个工具有windows版本,网上搜一下wget for windows,找到合适地址下载。

因为我是64位系统,所以下载了上面64位exe的地址

下载下来后,为了能在命令行中方便使用,我把它放到了C:\Windows\System32目录下(如果你会设置环境变量可以设置上,你也可以用cd命令切换到wget所在目录操作)。

把wget.exe放到C:\Windows\System32以方便命令行使用

我们WIN+R,输入cmd进入到命令行界面输入wget -h看下帮助信息

输入wget -h看下帮助信息

wget的命令行参数太多了,我们只考虑做网站镜像的有用参数。

标红的即为做镜像的参数
标红的即为做镜像的参数

我们来看一个学习编程的网站w3school

假如我们想做这个网站的镜像怎么办呢?

直接用wget -m http://www.w3school.com.cn/

这种是最简单暴力的用法,但是如果网站引用了外部的链接,这个下载下来的东西太多了,而且有些asp后缀的页面,我们如果想在本地用浏览器打开看没法直接打开,而且有时候我们可能只想下载某个网站目录下的文件,不想下载太多。

我们需要限制下。

我们用-np参数来限制只拉取当前目录不拉取父目录的网址数据
我们用-np参数来限制只拉取当前目录不拉取父目录的网址数据
我们用-k参数链接指向本地,便于浏览
我们用-k参数链接指向本地,便于浏览
我们用-p参数让图片等信息需要来展示在HTML上的我们全下载
我们用-p参数让图片等信息需要来展示在HTML上的我们全下载

假如我们只想下载w3school上的JS教程,我们用如下命令即可:

wget -m -k -np -p http://www.w3school.com.cn/js/index.asp

但是这个命令还是缺少一些东西,比如后缀有ASP,其它的还有断点续传,文件后缀,模拟浏览器,https下是否检查证书等。

我们最后总结下最合适的镜像网站语法,假如想对网站http://www.XXXX.com做镜像,而且做出来的镜像方便本地浏览器直接打开查看,用如下命令:

wget -c -m -k -np -p -E -U Mozilla –no-check-certificate http://www.XXXX.com

二、WGET做镜像演示

我们先实际操作一下,我们下载下JS的教程.。

wget -c -m -k -np -p -E -U Mozilla –no-check-certificate http://www.w3school.com.cn/js/index.asp

下载完成
下载完成
在用户文件夹找到对应网站域名的目录名字
在用户文件夹找到对应网站域名的目录名字

我们用浏览器直接双击打开上面标红的index.asp.html,如下图:

我们在左侧标红区域点击,跳转到的页面还是本地
我们在左侧标红区域点击,跳转到的页面还是本地

测试看来,我们成功的镜像了JS教程的页面,而且页面显示完好。


总结:最终用到的命令如下:

 

你也可以用一些CHM制作软件把镜像完的本地HTML制成CHM格式的教程发布出去。

如果你想进行限速,间隔下载等特殊需求可以网上查找下wget的命令帮助进行解决,这个比较简单,就不一一介绍了。

如果命令语法在实际测试中有问题,欢迎提出建议。

Posted in 随便说Leave a Comment on 如何克隆一个网站全站或部分内容(做网站镜像)

霖唔明之公司领导做法(一)

我很多时候都是想不通公司的领导在做什么???? 为什么要这么做???

第一件事是:

我部门领导经常跟我们说,事事有回应.定期汇报工作进度之类的.然而之前一直在说的官网整改,说让我们统计自己负责官网的要求,然后发给主管,主管再交接去修改.

然而,我们发过去了之后时隔半年,一点声音都没有.因为我们也都知道他们是那样的人也就没有多管,然后之后自己非要引出来这个话题,那我就说出来咯.说汇报了之后就没有收到任何消息,然而他也没有做出任何的解释之类的…行吧  领导有领导的做法, 但是我们再提起之后,他还是说催一下那边. 然后还是跟之前一样就没有然后了.

第二件事是:

我公司嘛以前是在每个月底一直都有一个所谓的生日会,虽然没有多大的牌面也没有什么东西好吃,也没有多少东西吃,但是起码还算是有一个生日会的.但是我也不知道从什么时候开始,就突然没有举行过生日会了,一开始我以为是我自己没有看群消息所以我觉得是通知了我不知道.然而我问了很多个同事,才知道原来是根本没有通知.行政做事情也真的是优秀,有”胶袋”啊.

第三件事是:

让一个刚入职2个月都不到的自己工作都还没有熟悉的新员工去带;另外一个刚入职的新员工????这可真是一个奇葩的做法啊…

一个6月中旬入职的员工,到现在8月头,也就顶多入职了一个半月2个月都不到吧.居然让他来带一个8月头入职的新员工.可能看到这里的人会觉得我是在嫉妒那个来了2个月不到的新员工,觉得是别人工作能力强,表现好.对自己工作业务熟悉,可以完美控制自己的时间和工作,并且可以腾出手来带新人.balabala之类的.如果你有这个想法,那真的是Interesting.因为我之前已经说了,他对自己的工作都没有熟悉.

然而因为以前的员工走了,能够拿到所谓的资源的员工走了,要请一些能拿资源的员工回来. 现在的领导为什么不看一下自己的资源准确率、有效率之类的呢??? 一开始就要求资源量一定要上来,然后资源量上来了之后就说有效率和转化率要高..您是因为什么觉得,这两个东西是可以成正比呢?????一块钱一条资源,就算成交了我们也没有任何其他的提成您还想怎样?

再者有效率这个东西,其实还是要看销售,我认识公司好一些销售吧,他们都觉得很多人,只想要大单,什么区域代理啥的.一些小店他们都不想签甚至不想聊.您为什么不去问一下销售那边呢….

话说不知不觉又要打了一千字了,我以前写作文为什么就没有那么好呢? 写作文的时候连3 400字都憋不出来.

行吧,这个是第一篇,还有第二篇有空再写.第二篇我会重点说一下那个行政的事情.真的是太完美了.完美到我有点忍不了,所以我要写出来发泄一下.

Posted in 随便说Leave a Comment on 霖唔明之公司领导做法(一)

垃圾百度智能云

自从7月11号阿里云服务器到期开始就搬去了百度云服务器,下面我就开始一个个数百度云垃圾服务器的一个个麻烦和垃圾之处.

1. 域名备案:

备案程序繁琐,备案还需要申请幕布,然后等他快递过来,幕布做背景我拍了照给他再提交然后继续审核.这个地方就已经足够浪费2-3天了.最重要的就是,备案还有一个鸡肋,要网站可以正常打开,的情况下备案,就是别人访问你域名的时候是可以正常浏览的.我很想问一句,如果我可以正常浏览,我还去你那边备案干嘛?我可以正常浏览代表我有服务器,我还可以供得起我网站打开,我还用你的服务器干嘛?这不是一个悖论吗????为了我的网站可以备案成功,我续费了一个月80多块的阿里云服务器.成功多浪费了80多块.

2.服务器垃圾:

我记得我是大概7月11号的时候搬过去的网站,然后从那时候开始,我网站打开速度就开始变慢,一开始是想,行吧~网站打开速度变慢还是可以接受范围之内的.我就没去管,一开始的时候我去测试过,所有的蜘蛛爬行之类的都是正常的.可能是一开始检测不出来,从我搬网站开始所有东西就一直在掉,一开始掉的是排名,然后就是收录.因为一开始我查过蜘蛛爬行是没有问题的,所以我就一直没有关注这个,我还在想着可能我搬运了服务器.百度搜索引擎又在发傻.过段时间就会恢复的了,然而.直到我掉到了0收录(其中也不过就2-3天的时候).我就开始翻查一些记录,到底是什么问题.然而一查就发现,全部都是服务器问题…,一大堆抓取异常都是504.

然后我就去站长工具去测试了一下网站速度,一大堆橙色的延迟,然后我又不懂太多服务器的东西,然后我就常规去提交工单了.

得到的回复是什么?一直说我网站有图片加载很慢,巴拉巴拉之类的,然而我自己清除了缓存打开(用的同样是火狐浏览器),也没有他那种情况

行吧他说那几个图片有问题,我把那几个图片全部改小了,然后又跟我说另外一个问题最后还跟我扯什么地区不一样有影响???影响那么大????您服务器是要翻墙使用吗???

然后还继续说我https没有全站支持,我的百度站长是搬去了百度服务器之后再去申请https认证的.还能审核过了,而且我用过很多工具测试都是已经设置好了,你现在给我扯这个?

然后之后又继续说我文件有问题….我网站怎么搬过去之后就你那个服务器有问题?我从搬过去到搬回来一个月不到.就发了一篇东西,哇~~~我那一篇文章影响可真大啊.就三张不大的动态图.改成了静态之后还是有其他的问题????最后还是说我网站的问题,服务器没有问题我就懒得理他了

还有备案的时候我也发现了一个很多人都会出错的问题,就是身份证正反面的分别….普通人能够分别错误我能够理解.百度这么大的公司,还可以分辨错误?误导???

请您好好看一下您公司的产品”百度百科”写的哪边是正哪边是反好吗???

来吧我把链接都给你找来了:点击这里

总的来说,都是因为自己穷,才舍不得续费阿里云.(毕竟续费800多一年)

然后才会去使用百度云这个垃圾的产品.只要是我自主可以选择的产品的话,我这辈子绝对不会有第二次使用百度智能云这个垃圾服务器.其他产品我没体验过我不敢说.服务器是真的垃圾.毕竟阿里云和他是同一个配置的服务器,体验完全不一样…

Posted in 随便说Leave a Comment on 垃圾百度智能云