阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个服务器的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。

而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。

说白了，就是使用redis来维护一个url队列,然后scrapy爬虫都连接这一个redis获取url,且当爬虫在redis处拿走了一个url后,redis会将这个url从队列中清除,保证不会被2个爬虫拿到同一个url,即使可能2个爬虫同时请求拿到同一个url,在返回结果的时候redis还会再做一次去重处理,所以这样就能达到分布式效果,我们拿一台主机做redis 队列,然后在其他主机上运行爬虫.且scrapy-redis会一直保持与redis的连接,所以即使当redis 队列中没有了url,爬虫会定时刷新请求,一旦当队列中有新的url后,爬虫就立即开始继续爬

首先分别在主机和从机上安装需要的爬虫库
pip3 install requests scrapy scrapy-redis redis

在主机中安装redis

安装redis

yum install redis

启动服务
systemctl start redis

查看版本号
redis-cli –version

设置开机启动
systemctl enable redis.service

修改redis配置文件 vim /etc/redis.conf 将保护模式设为no，同时注释掉bind，为了可以远程访问,另外需要注意阿里云安全策略也需要暴露6379端口

改完配置后，别忘了重启服务才能生效
systemctl restart redis
然后分别新建爬虫项目
scrapy startproject myspider
在项目的spiders目录下新建test.py

导包

import scrapy
import os
from scrapy_redis.spiders import RedisSpider

定义抓取类

class Test(scrapy.Spider):

class Test(RedisSpider):

#定义爬虫名称，和命令行运行时的名称吻合
name = "test"

#定义redis的key
redis_key = 'test:start_urls'

#定义头部信息
haders = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.86 Chrome/73.0.3683.86 Safari/537.36'
}

def parse(self, response):
    print(response.url)
    pass

然后修改配置文件settings.py，增加下面的配置,其中redis地址就是在主机中配置好的redis地址:
BOT_NAME = ‘myspider’

SPIDER_MODULES = [‘myspider.spiders’]
NEWSPIDER_MODULE = ‘myspider.spiders’

设置中文编码

FEED_EXPORT_ENCODING = ‘utf-8’

scrapy-redis 主机地址

REDIS_URL = ‘redis://root@39.106.228.179:6379’

队列调度

SCHEDULER = “scrapy_redis.scheduler.Scheduler”

不清除缓存

SCHEDULER_PERSIST = True

通过redis去重

DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”

不遵循robots

ROBOTSTXT_OBEY = False

最后，可以在两台主机上分别启动scrapy服务
此时，服务已经起来了，只不过redis队列中没有任务，在等待状态
进入主机的redis
redis-cli
将任务队列push进redis
lpush test:start_urls http://baidu.com
lpush test:start_urls http://chouti.com
可以看到，两台服务器的爬虫服务分别领取了队列中的任务进行抓取，同时利用redis的特性，url不会重复抓取

爬取任务结束之后，可以通过flushdb命令来清除地址指纹，这样就可以再次抓取历史地址了。

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

阿里镜像官方地址http://mirrors.aliyun.com/

1、点击官方提供的相应系统的帮助 ：

2、查看不同版本的系统操作：

下载源
1、安装wget
yum install -y wget
2、下载CentOS 7的repo文件
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

或者

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
3、更新镜像源
清除缓存：yum clean all
生成缓存：yum makecache

更改配置文件（很重要）
1、备份CentOS 7系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo命令：

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、找到yum源的配置路径
cd /etc/yum.repos.d

3、（可以省略该步骤）查看该目录下的所有文件目录：
ls

4、打开CentOS-Base.repo文件:
vim CentOS-Base.repo

或者

vi CentOS-Base.repo

5、将文件中的所有http开头的地址更改为https（下图中只是列出部分内容，并不完善）：

6、更新yum：
yum update

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

现在企业信息化，使用云服务器的越来越普遍了，做为企业上云，在选择云服务器时，应该需要了解哪些方面呢？云服务器 的配置选择，和网站或应用的类型、访问量、数据量大小、程序质量等因素有关，建议和您的网站或应用的开发技术人员沟通，选择最适合您的配置。下面我们就来说说企业如何选择阿里云服务器配置：

如果您没有技术人员可提供建议，可以参考我们的建议进行配置选择。网站初始阶段访问量小，只需要一台低配置的服务器即可，应用程序、数据库、文件等所有资源均在一台服务器上。

云服务器具有强大的弹性扩展和快速开通能力。随着业务的增长，你可以随时在线增加服务器的CPU、内存、硬盘以及带宽等配置，或者增加服务器数量，无需担心低配服务器在业务突增时带来的资源不足问题，不让一个用户流失。

企业云服务器一般是用来放网站、APP、或者小程序之类的应用，网站也分很多种，不同网站对于云服务器的配置要求也不一样，下面我们从不同网站所需的云服务器配置来了解。

企业展示类网站
企业展示类网站一般只用来放企业介绍、产品展示、企业动态等这类静态内容，访问流量一般也不会很大，对于云服务器的配置要求不是很高，可以选择下面两种配置的云服务器：
1核CPU | 1G内存 | 1Mbps带宽
2核CPU | 4G内存 | 1Mbps带宽

企业功能型网站
企业功能型网站一般有在线购物功能、在线直播功能、论坛功能等等，这类网站因为程序本身所需的配置比较大，如果访问量大一点的话，对于云服务器的配置要求就比展示类网要高，推荐下面两种配置的云服务器：
4核CPU | 4G内存 | 3Mbps带宽
4核CPU | 8G内存 | 5Mbps带宽

另外阿里云官网其实也针对一些不知道如何选择云服务器配置的用户做了专门的推荐购买配置，很有指导意义的。
阿里云官网推荐购买页

对于一些大企业网站，如果访问量特别大的情况下，就需要8核CPU | 16G内存 ｜ 10Mbps带宽或者以上配置的云服务器了，当然前期可以选择配置稍低一点，如果不够用再升级也是可以的。

服务器搭配负载均衡
当您的业务需求较高时，您可以选择较高配置的服务器，或者采用多台稍微低配的服务器，搭配负载均衡服务，通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。

环境配置
云服务器购买好了之后，还需要配置网站或应用所需要的环境才能够正常运行，您可以根据自己的实际情况，选择以下几种方式进行服务器环境配置：

自主配置环境

您可以找技术人员进行环境配置，或者通过学习网上的环境配置教程，自己尝试进行配置（通过搜索php环境配置，java环境配置等关键词，可找到大量教程），现在有很多环境集成安装包，一个环境包就可以安装好所有的环境软件，比如目前使用很多的宝塔管理系统、WDCP管理系统等等。但我们不推荐非技术人员自己进行环境配置。

服务商代维
现在有阿里云有合作的云服务器代运维服务商，可以通过阿里云市场找这样的服务商代配置环境，不过是需要费用的，但可以省心很多。

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

最近要做一个定时任务错误信息实时转发到邮件，由于用的阿里云服务器一直不成功，在网上找了下原因：

是因为阿里云服务器关闭了25端口，发送邮件才会显示链接超时，而且官方不允许打开该端口，而且大部分邮件都是通过25端口，在网上找了个还不错，以网易163邮箱为例，使用SSL下的465端口。

具体操作：

一、请求数字证书

mkdir -p /root/.certs/ ####创建目录，用来存放证书

echo -n | openssl s_client -connect smtp.163.com:465 | sed -ne ‘/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p’ > ~/.certs/163.crt ####向163请求证书

certutil -A -n “GeoTrust SSL CA” -t “C,,” -d ~/.certs -i ~/.certs/163.crt ####添加一个SSL证书到证书数据库中

certutil -A -n “GeoTrust Global CA” -t “C,,” -d ~/.certs -i ~/.certs/163.crt ####添加一个Global 证书到证书数据库中

certutil -L -d /root/.certs ####列出目录下证书

二、配置发件人

输入命令： vi /etc/mail.rc

配置如下

For Linux and BSD, this should be set.

set bsdcompat

set from=xxxxxx@163.com

set smtp=smtps://smtp.163.com:465

set smtp-auth-user=xxxxxx@163.com

set smtp-auth-password=xxxxxxx #此密码为第三方登录密码

set smtp-auth=login

set ssl-verify=ignore

set nss-config-dir=/root/.certs

三、测试
echo “test” | mail -s “zabbix” xxxxxxx@qq.com

登陆收件人邮箱查看
看似成功但是linux中报错：证书不被信任

四、解决最后一个问题—–证书不被信任

cd /root/.certs/

certutil -A -n “GeoTrust SSL CA – G3” -t “Pu,Pu,Pu” -d ./ -i 163.crt

成功标志：
Notice: Trust flag u is set automatically if the private key is present.

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]

DNS域名解析是互联网上非常重要的一项服务，上网冲浪（还有人在用这个词吗？）伴随着大量DNS服务来支撑，而对于网站运营来说，DNS域名解析的稳定可靠，意味着更多用户的喜欢，更好的SEO效果和更大的访问流量。我们先了解一下什么是DNS：

DNS，就是Domain Name System的缩写，翻译过来就是域名系统，是互联网上作为域名和IP地址相互映射的一个分布式数据库。DNS能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过域名，最终得到该域名对应的IP地址的过程叫做域名解析（或主机名解析）。

下面这张图，详细说明了一个DNS域名解析的全过程：

下面来详细解释DNS域名解析的过程：

网络客户端就是我们平常使用的电脑，打开浏览器，输入一个域名。比如输入www.myshu.org，这时，你使用的电脑会发出一个DNS请求到本地DNS服务器。本地DNS服务器一般都是你的网络接入服务器商提供，比如中国电信，中国移动。

查询m.myshu.org的DNS请求到达本地DNS服务器之后，本地DNS服务器会首先查询它的缓存记录，如果缓存中有此条记录，就可以直接返回结果。如果没有，本地DNS服务器还要向DNS根服务器进行查询。

根DNS服务器没有记录具体的域名和IP地址的对应关系，而是告诉本地DNS服务器，你可以到域服务器上去继续查询，并给出域服务器的地址。

本地DNS服务器继续向域服务器发出请求，在这个例子中，请求的对象是.com域服务器。.com域服务器收到请求之后，也不会直接返回域名和IP地址的对应关系，而是告诉本地DNS服务器，你的域名的解析服务器的地址。

最后，本地DNS服务器向域名的解析服务器发出请求，这时就能收到一个域名和IP地址对应关系，本地DNS服务器不仅要把IP地址返回给用户电脑，还要把这个对应关系保存在缓存中，以备下次别的用户查询时，可以直接返回结果，加快网络访问。

关于DNS解析的TTL参数：
我们在配置DNS解析的时候，有一个参数常常容易忽略，就是DNS解析的TTL参数，Time To Live。TTL这个参数告诉本地DNS服务器，域名缓存的最长时间。用阿里云解析来举例，阿里云解析默认的TTL是10分钟，10分钟的含义是，本地DNS服务器对于域名的缓存时间是10分钟，10分钟之后，本地DNS服务器就会删除这条记录，删除之后，如果有用户访问这个域名，就要重复一遍上述复杂的流程。

其实，如果网站已经进入稳定发展的状态，不会轻易更换IP地址，我们完全可以将TTL设置到协议最大值，即24小时。带来的好处是，让域名解析记录能够更长时间的存放在本地DNS服务器中，以加快所有用户的访问。设置成24小时，其实，还解决了Googlebot在全球部署的服务器抓取网站可能带来的问题。

阿里云之所以只将TTL设置成10分钟，是为了让域名解析更快生效而已。因为之前的解析会在最长10分钟之后失效（本地DNS服务器将对应的解析条目删除），然后新的解析生效。如果是24小时，这个生效的时间最长就是24小时，甚至更长（本地DNS服务器要有用户请求，才会发起查询）。
更多域名知识介绍，请参考阿里云官方产品文档-域名

阿里云服务器：[活动地址]

购买可领取：[阿里云2000元代金券]