分类 PHP 下的文章

我们来继续利用 Docker 搭建 PHP,目前主流的 PHP 运行模式还是基于 FPM,那么在这节中,我们来使用 Dcoker 搭建 PHP-FPM。

首先是下载镜像。

$ docker pull php:7.2.0-fpm-alpine3.6

$ php docker image ls | grep php
php           7.2-cli               dfdb1713d26a   23 months ago   365MB
php           7.2-cli-alpine3.6     27bfb4b1f223   4 years ago     74.1MB
php           7.2.0-fpm-alpine3.6   da8c99d32f95   4 years ago     75.4MB

其体积只有 76M,我们在运行容器时候可以使用 -d 让容器在后台运行。

$ docker run -d --rm -p 9000:9000 --name fpm-7.2 php:7.2.0-fpm-alpine3.6
0ea75f025c557b9cd4878a38219e5fa581ae66478ec321b91eec879ecf144fed
$ php docker ps | grep php
0ea75f025c55   php:7.2.0-fpm-alpine3.6   "docker-php-entrypoi…"   6 seconds ago   Up 6 seconds   0.0.0.0:9000->9000/tcp              fpm-7.2

接下来,我们安装 apache

# 拉取镜像
$ docker pull httpd:2.4-alpine

# 运行容器
docker run -d -p 80:80 --rm --name httpd-2.4 -v /home/maksim/src/php/:/usr/local/apache2/htdocs/ httpd:2.4-alpine

我们还是利用上一次我们编写的 Hello Docker! 脚本来进行演示,-v 可以将我们的本地目录挂在到 apache 容器中,

接下来,我们将 apache 的配置文件拷贝出来。

# . 代表当前目录,你可以设置成自己想要的目录
# 我的当前目录是 /home/maksim/src/conf/
$ docker cp httpd-2.4:/usr/local/apache2/conf/httpd.conf .
$ ls
httpd.conf

我们可以看到 httpd.conf 这样就被复制出来了,然后我们对其进行修改,支持 fpm。

# 将这三个模块加载放开

LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule proxy_fcgi_module modules/mod_proxy_fcgi.so

然后就是 docker 之间的通讯,如果没有指定 docker 容器的网络,默认情况下两个容器之间是在一个虚拟网络下,我们可以在两个容器之间通过虚拟 IP 进行通讯。

$ docker inspect fpm-7.2
...
"IPAddress": "172.17.0.3",
...

通过 inspect 命令我们可以查看 docker 容器的详细信息,我们将 apache 的代理设置为 172.17.0.3。

<VirtualHost *:80>
    ServerAdmin [email protected]
    DocumentRoot "/usr/local/apache2/htdocs"
    ServerName localhost
    <Directory "/usr/local/apache2/htdocs">
        Options None
        Require all granted
    </Directory>
    ProxyRequests Off
    ProxyPassMatch ^/(.*\.php)$ fcgi://172.17.0.4:9000/php/$1
</VirtualHost>

现在准备工作都已经结束了,我们开始重新开启容器。

# 停止当前容器
$ docker stop fpm-7.2 && docker stop httpd-2.4

# 启动 apache
docker run -d -p 80:80 --name httpd-2.4  -v /home/maksim/src/php/:/usr/local/apache2/htdocs/ -v /home/maksim/src/conf/httpd.conf:/usr/local/apache2/conf/httpd.conf httpd:2.4-alpine

# 启动 fpm
docker run -d -p 9000:9000 --name fpm-2.4 -v /home/maksim/src/php/:/php php:7.2.0-fpm-alpine3.6

至此我们就可以访问我们的应用程序了,如果启动后无法解析 php 文件,那么极有可能是 IP 发生了变更,我们可以再次查看 IP。

$ curl localhost/index.php
Hello Docker!

目前 Docker 部署算是比较流行的方式,在传统方式搭建生产环境时候我们需要人工进行编译,我们可以利用 Docker 来简化这一步操作,直接拉取官方镜像。

$ docker pull php:7.2-cli
$ docker image list | grep php
php   7.2-cli   dfdb1713d26a   23 months ago   365MB

这个镜像对于值运行 cli 程序来说镜像镜像有些太大了,镜像大就涉及到了拉取时间慢,而且占用磁盘资源,我们也可以选择 alpine 的版本,这是一个专门面向 docker 封装的精简版 Linux,其镜像要更小一些。

$ docker pull php:7.2-cli-alpine3.6

$ docker image list | grep php
php     7.2-cli             dfdb1713d26a   23 months ago   365MB
php     7.2-cli-alpine3.6   27bfb4b1f223   4 years ago     74.1MB

alpine 版本的 php-cli 总大小才 74.1MB。

接下来,我们来看一下该镜像中为我们打包好的 PHP 是否足以运行我们的 PHP 程序,最主要的就是看都安装了那些扩展。

$ docker run -it --rm php:7.2-cli-alpine3.6 php -m

该命令的意义如下:

[PHP Modules]
...
Core
ctype
curl
date
dom
fileinfo
....
[Zend Modules]

如果其扩展不足以支持我们的应用运行,我们可以选择基于官方的 Dockerfile 进行定制,同时如果将要基于当前镜像进行定制的话也可以编写自己的 Dockerfile。

接下来,利用该进行来执行我们的第一个应用程序。

$ cat /home/maksim/index.php
<?php

echo "Hello Docker!";

$ docker run -it --rm --name runphp -v /home/maksim/index.php:/usr/src/index.php php:7.2-cli-alpine3.6 php /usr/src/index.php
Hello Docker!%

这样 PHP 的 Cli 程序就可以运行了。

企业级 PHP 高并发解决方案 0x01 LNMP 环境搭建

环境设置

在拿到新的服务器或者虚拟机的时候,我们首先需要保证我们的环境是被正确配置的,这样可以减少生产环境出现问题的概率,这篇文章主要是用来讲解 PHP 的环境搭建。

FQDN 设置(重要)

FQDN(Fully Qualified Domain Name 全限定域名) 是用来识别我们的主机身份,这一点非常重要。

例如:主机名是 server01 , 域名是 maksim.website ,那么FQDN就是 server01.maksim.website。

step 1. 修改 /etc/hosts

$ > vim /etc/hosts
# 在文件里追加一行
192.168.17.101  server01.maksim.website server01

step 2. 配置网卡

$ > vim /etc/sysconfig/network
# 修改 HOSTNAME 的值为 server01
HOSTNAME=server01

关闭 selinux

SELinux 是 2.6 版本的 Linux 内核中提供的强制访问控制(MAC)系统,对于目前的linux系统来说基本都内置开启了该安全增强的 selinux 内核模块。但是它虽然安全,但是对于一般的用户来说,过于复杂,而且如果开启 selinux 有的时候回出现各种各样的问题。

# 临时关闭
$ > setenforce 0 &>> /dev/null
# 永久关闭
$ > sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config

网络校时 (重要)

服务器时间需要校准的主要原因如下:

  1. 计划任务要执行,需要提供一个可靠的时间
  2. 服务期间进行通信,需要统一的一致时间
# 安装时命令和服务
$ > yum install ntp -y
# 开启 ntpd start
$ > service netpd start
# 开启自启动 ntpd
$ > chkconfig ntpd on

国内第三方 NTP : https://opsx.alibaba.com/service?lang=zh-cn&activeKey=2

源码编译安装 LNMP

在生产环境 yum 安装的一般是依赖文件(小文件),例如 vim ,gcc,make, 等命令,而像 PHP、 Nginx、MySQL 这些都需要使用源码进行编译安装,这是因为可以定制化配置,尤其是有软件允许我们开发一些二次开发,我们需要在安装的时候编译到可执行文件中去。

软件名称预计编译时间
MySQL852s ~ 15m
Nginx27s ~ 1m
PHP564s ~ 10m6

这是我在工作中总结的一个编译耗时。

编译MySQL

相关参数介绍

编译参数的说明

-DCMAKE_INSTALL_PREFIX安装到的软件目录
-DMYSQL_DATADIR数据文件存储的路径
-DSYSCONFDIR配置文件路径 (my.cnf)
-DENABLED_LOCAL_INFILE=1使用localmysql客户端的配置
-DWITH_PARTITION_STORAGE_ENGINE使mysql支持分表
-DEXTRA_CHARSETS安装支持的字符集
-DDEFAULT_CHARSET默认字符集使用 这里配置为utf8mb4
-DDEFAULT_COLLATION连接字符集
-DWITH_SSL开启mysql的ssl使用

初始化参数说明

--basedir安装到的软件目录
--datadir数据文件存储路径
--usermysql使用的用户

脚本实现安装及其初始化

#!/bin/bash
#源码编译安装MySQL
mysql_install() {
  #1、创建用户
  $(id mysql) &>/dev/null
  [ $? -ne 0 ] && useradd -s /sbin/nologin -M mysql
  #2、解决依赖
  yum install -y cmake
  yum install -y ncurses-devel
  #3、编译安装
  cd /root/soft
  tar zxvf mysql-5.6.33.tar.gz
  cd mysql-5.6.33
  cmake \
    -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
    -DMYSQL_DATADIR=/usr/local/mysql/data \
    -DSYSCONFDIR=/etc \
    -DENABLED_LOCAL_INFILE=1 \
    -DWITH_PARTITION_STORAGE_ENGINE=1 \
    -DEXTRA_CHARSETS=all \
    -DDEFAULT_CHARSET=utf8mb4 \
    -DDEFAULT_COLLATION=utf8mb4_general_ci-DWITH_SSL=bundled
  make && make install
  #配置文件
  rm -rf /etc/my.cnf
  cp /usr/local/mysql/support-files/my-default.cnf /etc/my.cnf
  #授权并初始化数据库
  chown -R mysql:mysql /usr/local/mysql
  /usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --user=mysql
  #配置服务、自启动和环境变量
  cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
  service mysqld start
  chkconfig --add mysqld
  echo 'PATH=/usr/local/mysql/bin:$PATH' >>/etc/profile
  #删除匿名用户
  #设置root域名的密码
  rpm -qa | grep expect
  if [ $? -ne 0 ]; then
    yum -y install expect
  fi
  #导入环境变量PATH
  export PATH=/usr/local/mysql/bin:$PATH
  #初始化root密码 删除匿名用户
  echo '#!/usr/bin/expect
set timeout 60
spawn mysql_secure_installation
expect {
"enter for none" { send "\r"; exp_continue}
"Y/n" { send "Y\r" ; exp_continue}
"password" { send "123456\r"; exp_continue}
"Cleaning up" { send "\r"}
}
interact ' >mysql_secure_installation.exp
  chmod +x mysql_secure_installation.exp
  ./mysql_secure_installation.exp
}
#脚本开始时间
start_time=$(date +%s)
#执行的脚本代码
mysql_install
#脚本结束时间
end_time=$(date +%s)
#脚本执行花费时间
const_time=$((end_time - start_time))
echo 'Take time is: '$const_time's'

编译安装 Nginx

常见用法:

  1. web服务器软件 httpd http协议,同类的web服务器软件:apache nginx(俄罗斯) IIS(微软 fastcgi) lighttpd(德国)
  2. 代理服务器 ,反向代理
  3. 邮箱代理服务器 IMAP POP3 SMTP
  4. 负载均衡功能 LB loadblance

Nginx架构的特点:

  • 高可靠:稳定性 master进程 管理调度请求分发到哪一个worker=> worker进程 响应请求 一master多worker
  • 热部署 :(1)平滑升级 (2)可以快速重载配置
  • 高并发:可以同时响应更多的请求 事件 epoll模型 几万
  • 响应快:尤其在处理静态文件上,响应速度很快 sendfile
  • 低消耗:cpu和内存 1w个请求 内存2-3MB
  • 分布式支持 :反向代理 七层负载均衡

安装

安装依赖

shell > yum -y install pcre-devel zlib-devel openssl-devel

自动化脚本

#!/bin/bash
#编译安装Nginx
nginx_install(){
#创建软件运行用户
`id www` &>>/dev/null
if [ $? -ne 0 ];then
   useradd -s/sbin/nologin -M www
fi
#安装依赖
yum -y install pcre-devel zlib-devel openssl-devel
#编译安装
cd /root/soft
tar xvf nginx-1.14.2.tar.gz
cd nginx-1.14.2
./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module && make && make install
}
#脚本开始时间
start_time=`date +%s`
#执行的脚本代码
nginx_install
#脚本结束时间
end_time=`date +%s`
#脚本执行花费时间
const_time=$((end_time-start_time))
echo 'Take time is: '$const_time's'

编译参数说明

参数作用
--prefix编译安装到的软件目录
--userworker进程运行用户
--groupworker进程运行用户组
--with-http_ssl_module支持https 需要==pcel-devel==依赖
--with-http_stub_status_module基本状态信息显示 查看请求数、连接数等
--with-http_realip_module定义客户端地址和端口为header头信息 常用于反向代理后的真实IP获取

目录介绍

查看安装目录/usr/local/nginx

目录作用
conf配置文件
html网站默认目录
logs日志
sbin可执行文件 [软件的启动 停止 重启等]

软件操作参数

查看nginx的二进制可执行文件的相关参数

shell > cd /usr/local/nginx/sbin
shell > ./nginx -h

执行后显示

nginx version: nginx/1.14.2
Usage: nginx [-?hvVtTq] [-s signal] [-c filename] [-p prefix] [-g directives]

Options:
#查看帮助
  -?,-h         : this help
#查看版本并退出
  -v            : show version and exit
#查看版本和配置选项并退出
  -V            : show version and configure options then exit
#检测配置文件语法并退出
  -t            : test configuration and exit
#检测配置文件语法打印它并退出
  -T            : test configuration, dump it and exit
#在配置测试期间禁止显示非错误信息
  -q            : suppress non-error messages during configuration testing
#发送信号给主进程  stop强制退出  quit优雅的退出  reopen重开日志   reload重载配置
  -s signal     : send signal to a master process: stop, quit, reopen, reload
#设置nginx目录  $prefix路径
  -p prefix     : set prefix path (default: /usr/local/nginx/)
#指定启动使用的配置文件
  -c filename   : set configuration file (default: conf/nginx.conf)
#在配置文件之外设置全局指令
  -g directives : set global directives out of configuration file

一般主要使用:

-s参数控制管理nginx服务

-V参数查看nginx开启的模块和编译参数

-t参数检测配置文件是否有错误

服务配置

① 使用社区的服务配置文件

nginx编译包里默认没有服务启动脚本模板,可以通过社区获得

https://www.nginx.com/resources/wiki/start/topics/examples/redhatnginxinit/

上传脚本到/etc/init.d目录下

shell > vim /etc/init.d/nginx

修改软件和配置路径

#执行文件路径  第22行
nginx="/usr/local/nginx/sbin/nginx"
#配置文件路径  第25行
NGINIX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"

②添加自启动

shell > chmod +x /etc/init.d/nginx
shell > chkconfig --add nginx
shell > chkconfig nginx on

注意在服务脚本中,有chkconfig配置开启模式、开启顺序、关闭顺序设置

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#              开启模式(0-6)   开启顺序  关闭顺序      
# chkconfig:   - 85 15

PHP

PHP(外文名:PHP: Hypertext Preprocessor,中文名:“超文本预处理器”)是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点,利于学习,使用广泛,主要适用于Web开发领域

PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其他的编程语言相比,PHP是将程序嵌入到HTML(标准通用标记语言下的一个应用)文档中去执行,执行效率比完全生成HTML标记的CGI要高许多;PHP还可以执行编译后代码,编译可以达到加密和优化代码运行,使代码运行更快。

PHP-FPM(FastCGI Process Manager:FastCGI进程管理器**,对于PHP 5.3.3之前的php来说,是一个补丁包 ,旨在将FastCGI进程管理整合进PHP包中。

相对Spawn-FCGI,PHP-FPM在CPU和内存方面的控制都更胜一筹,而且前者很容易崩溃,必须用crontab定时进行监控,而PHP-FPM则没有这种烦恼。
PHP5.3.3已经集成php-fpm了,不再是第三方的包了。PHP-FPM提供了更好的PHP进程管理方式,可以有效控制内存和进程、可以平滑重载PHP配置,比spawn-fcgi具有更多优点,所以被PHP官方收录了。在./configure的时候带 –enable-fpm参数即可开启PHP-FPM**。

页面分类:

  • 静态页面 一般普通访问到的页面
  • 动态页面 用户可以和服务器进行交互页面

执行动态页面,需要和服务器进行交互,使用后端语言进行开发

LNMP 使用php进行开发交互

l8u0o1vi.png

LAMP和LNMP在使用和配置PHP的区别:

l8u0nlt0.png

安装

shell > yum -y install libxml2-devel libjpeg-devel libpng-devel freetype-devel curl-devel openssl-devel

解压进入目录

shell > tar zxf php-7.2.12.tar.gz
shell > cd php-7.2.12

编译参数配置

shell > ./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --enable-fpm --with-fpm-user=www --with-fpm-group=www --with-mysqli=mysqlnd --with-pdo-mysql=mysqlnd --with-iconv-dir --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib --with-libxml-dir --enable-xml --disable-rpath --enable-bcmath --enable-shmop --enable-sysvsem --enable-inline-optimization --with-curl --enable-mbregex --enable-mbstring --enable-ftp --with-gd --with-openssl --with-mhash --enable-pcntl --enable-sockets --with-xmlrpc --with-libzip --enable-soap --without-pear --with-gettext --disable-fileinfo --enable-maintainer-zts

--with 代表需要手动开启 可能需要加载第三方模块 第三方模块没有,就会error

--enable 代表开启php的默认功能

--without 关闭默认加载的模块

编译并安装到目录

shell > make && make install

查看PHP的安装目录

shell > cd /usr/local/php
shell > ls
目录名称作用
binphp相关命令目录 php phpize、php-config在源码编译扩展时用
etc配置文件目录
includephp默认类库
libphp第三方扩展类库
phpman文档文件
sbinphp-fpm执行文件
varlog日志目录 run运行目录 保存pid文件

配置

使用php-fpm进行管理php服务,有两个配置文件:

①php.ini #默认php配置文件

②php-fpm.conf #php-fpm相关的配置

复制配置文件

shell > cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf
shell > cp /usr/local/php/etc/php-fpm.d/www.conf.default /usr/local/php/etc/php-fpm.d/www.conf
shell > cp /root/soft/php-7.2.12/php.ini-development /usr/local/php/etc/php.ini

添加启动服务

shell > cp /root/soft/php-7.2.12/sapi/fpm/init.d.php-fpm /etc/init.d/php-fpm
shell > chmod +x /etc/init.d/php-fpm
shell > chkconfig --add php-fpm

添加环境变量(方便php、phpize、phpconfig查找使用)

shell > echo 'PATH=/usr/local/php/bin:$PATH' >> /etc/profile
shell > source /etc/profile

php安装脚本及其初始化配置

以下脚本,作为编译安装和配置php的参考

#!/bin/bash
php_install(){
#php编译安装
#和nginx使用相同的用户,如果没有就创建
`id www` &> /dev/null
[ $? -ne 0 ] && useradd -s /sbin/nologin -M www
#解决依赖
yum -y install libxml2-devel libjpeg-devel libpng-devel freetype-devel curl-devel openssl-devel
#解压
tar xvf php-7.2.12.tar.gz
cd php-7.2.12
#编译安装php
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --enable-fpm --with-fpm-user=www --with-fpm-group=www --with-mysqli=mysqlnd --with-pdo-mysql=mysqlnd --with-iconv-dir --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib --with-libxml-dir --enable-xml --disable-rpath --enable-bcmath --enable-shmop --enable-sysvsem --enable-inline-optimization --with-curl --enable-mbregex --enable-mbstring --enable-ftp --with-gd --with-openssl --with-mhash --enable-pcntl --enable-sockets --with-xmlrpc --with-libzip --enable-soap --without-pear --with-gettext --disable-fileinfo --enable-maintainer-zts && make && make install
#配置文件初始化
cp php.ini-development /usr/local/php/etc/php.ini
#php-fpm服务配置文件
cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf
#php-fpm服务子配置文件
cp /usr/local/php/etc/php-fpm.d/www.conf.default /usr/local/php/etc/php-fpm.d/www.conf
#配置服务及其环境变量
cp /root/soft/php-7.2.12/sapi/fpm/init.d.php-fpm /etc/init.d/php-fpm
chmod +x /etc/init.d/php-fpm
service php-fpm start
chkconfig --add php-fpm
echo 'PATH=/usr/local/php/bin:$PATH' >> /etc/profile
}
#脚本开始时间
start_time=`date +%s`
#执行的脚本代码
php_install
#脚本结束时间
end_time=`date +%s`
#脚本执行花费时间
const_time=$((end_time-start_time))
echo 'Take time is: '$const_time's'

Nginx+php-fpm配置

①编写测试文件

shell > vim /usr/local/nginx/html/index.php

文件内容

<?php
    phpinfo();

②在nginx.conf中配置

修改配置文件,告知nginx如果接收到.php结尾的请求,交由给php-fpm进行处理

shell  > vim /usr/local/nginx/conf/nginx.conf

打开location .php 结尾那一段注释,并修改script为$document_root

#1、把root变量提升上层 
root html;
        location / {
            #root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        location ~ \.php$ {
          #2、默认使用上层的root变量
        #    root           html;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
          #3、把script修改为$document_root  $document_root 就是上面的root
            fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
            include        fastcgi_params;
        }

负载均衡,英文名称为 LoadBalance,其意思就是将负载(工作任务)进行平衡,分摊到多个操作单元上进行执行(例如Web服务器、FTP服务器等),实现多个服务器共同完成工作任务的目标。负载均衡建立在现有网络结构之上,它提升了服务器的性能、提高了带宽利用率,增强了网络的灵活性和可靠性。

七层负载均衡的实现

基于URL等应用层信息的负载均衡,Nginx 的 proxy 是它一个很强大的功能,实现了7层负载均衡。

  • 功能强大,性能卓越,运行稳定
  • 配置简单灵活
  • 能够自动剔除工作不正常的后端服务器
  • 上传文件可以使用异步模式
  • 支持多种分配策略,可以分配权重,分配方式灵活

NGINX 拥有两种策略:内置策略扩展策略

内置策略是NGINX安装后内置,开箱即用的均衡策略,而扩展策略反之,需要我们安装特定的模块才能进行使用。

内置策略: IP Hash、加权轮询

扩展策略:fair策略、通用hash、一致性hash。

加权轮询:首先将请求都发给高权的机器,直到该机器的权值降到了比其他机器底,才开始将请求分给下一个高权重的机器。当所有后端机器都 down 掉时,NGINX 会立即将所有机器的标志位清成初始状态,以避免所有的机器都处于 timeout 的状态。

IP Hash: 流程和轮询很类似,只是其中的算法和具体的策略有些变化,IP HASH算法算是一种变相的轮询算法。

fair 策略:根据后端服务器的响应时间判断负载情况,从中选出负载最轻的机器进行分流。

通用hash、一致性hash:比较简单,可以以 NGINX 内置的变量为key进行hash,一致性hash采用了NGINX内置的一致性Hash环,支持 memcache。

http {
    upstream cluster {
        ip hash;
        server serv1;
        server serv2;
        server serv3;
    }
    server {
        listen 80;
        location/ {
            proxy_pass http://cluster;
        }
    }
}

四层负载均衡的实现

通过报文中的目标地址和端口,再加上负载均衡设备设置的服务器选择方式,决定最终选择的内部服务器。

在四层负载均衡上,我们可以使用LVS (Linux Virtual Server),意即Linux 虚拟服务器,是一个虚拟服务器的集群系统。该软件是在1998年5月由章文嵩山博士创建,是国内最早出现的自由软件项目之一,它具有良好的可靠性、可扩展性和可操作性。

实现原理

LVS 是基于 IP 地址的调度方法实现的,是最高效的实现方法,IP 负载均衡是通过 IPVS 内核模块实现的,IPVS 是 LVS 集群系统的核心软件。

也就是说在我们使用 LVS 之前,我们必须要先安装 ipvs 软件。

安装在 Director Server 上,同时在 Director Server 上虚拟出一个 IP(VIP-Virtual IP)地址。在进行域名解析的时候,我们需要将域名解析到 VIP 上。然后根据 VIP 找到 Director Server分发到真实的服务器上。

访问的请求首选in 经过 VIP 到负载调度器,由负载调度器从 Real Server 列表中选取一个节点响应用户的请求。

Real Server 节点返回给用户数据使用过 ipvs 实现的,ipvs 实现负载均衡的机制有三种:NAT(地址转发)DR (直接路由)TUN(隧道模式)

LVS 安装

上文提到过,安装 LVS 需要安装 ipvs,我们需要到其官网进行下载:

http://www.linuxvirtualserver.org/software/index.html

在下载软件时我们需要注意,要下载对应的内核版本号,使用 uname -r 查看当前 Linux 的内核版本。

同时,我们也可以使用 Linux 自带的包管理器进行安装

yum -y install ipsadm

NAT 模式

地址转换技术 DR 只需要将 VIP 配置到 DR 上,将受到的集群服务请求报文目标地址转换成根据算法计算得出的后端主机 IP 地址。

然后后端主主机将相应报文发送至 DR,再由 DR 将原地址转换成 VIP 地址。下面是他的网络拓扑图:

在 LVS(Director)上面需要两双网卡:DIP(内网)和 VIP(外网)

内网的 Real Server 主机的 IP 必须和 DIP 在同一个网络中,并且要求其网关都需要指向 DIP 的地址。

RIP 都是私有 IP地址,仅用于各个节点之间的通信,Director 位于 client 和 Real Server 之间,负责处理所有的进站、出站的通信,支持端口映射。

应用在较大规模的应用场景中,但 Director 容易成为整个架构的瓶颈。

什么是数据库缓存

MySQL 等一些常见的关系型数据库的数据都存储在硬盘当中,在高并发场景下,业务应用对 MySQL 产生的增、删、改、查的操作造成巨大的I/O开销和查询压力,这无疑对数据库和服务器都是一种巨大的压力,为了解决此类问题,缓存数据的概念应运而生。

使用数据库缓存可以极大的解决我们数据的压力,提高应用数据的响应速度,因为不用再动态查询了,直接将静态数据返回,无论是速度还是效率都要更快一些,节省了,很多查询和计算的时间。

常见的缓存形式:内存缓存,文件缓存

为了避免I/O开销,应该尽量使用内存缓存。

为什么要使用缓存

缓存诗句是为了让客户端很少,甚至是不访问数据库服务器进行数据的查询,高并发下,能最大程度地降低对数据库服务器的访问压力。

当我们默认情况下不使用缓存的情况下,我们的执行顺序如下:

  1. 用户请求
  2. 数据查询
  3. 链接数据库服务器并查询数据
  4. 将数据缓存起来(HTML、内存、JSON、序列化数据)
  5. 显示给客户端

当我们第二次请求或者是新用户访问时候,执行顺序如下:

  1. 用户再次请求或者新用户访问
  2. 数据查询
  3. 直接从缓存中获取数据
  4. 显示给客户端

缓存需要考虑的内容

  • 缓存方式的选择
  • 缓存场景的选择
  • 缓存数据的实时性
  • 缓存数据的稳定性

使用 MySQL查询缓存

启用MySQL查询缓存

query_cache_type

查询缓存类型,有0、1、2三个取值。

  • 0 不是用查询缓存
  • 1 始终使用查询缓存
  • 2 按需查询缓存

query_cache_type为1时,也可以关闭查询缓存

SELECT SQL_NO_CACHE * FROM my_table WHERE condition;

query_cache_type为2时,可以按需使用查询缓存

SELECT SQL_CACHE * FROM my_table WHERE condition;
query_cache_size

默认情况下query_cache_size为0,表示查询缓存预留的内存为0,则无法使用查询缓存。

SET GLOBAL query_cache_size = 134217728;

查询缓存可以看成是 SQL 文本和查询结果的映射。

第二查询的SQL和第二次查询的SQL要完全相同,才会使用缓存。

我们可以通过下面的语句查看缓存的命中次数。

SHOW STATUS LIKE 'Qcache_hits'; 

表的结构发生改变时候,查询缓存中的数据不再有效。

清理缓存如下:

FLUSH QUERY CACHE;  //清理查询缓存内部碎片
RESET QUERY CACHE;  //从查询花村中移出所有查询
FLUSH TABLES;        //关闭所有打开的表,同时该操作将会清空查询缓存中的内容。

使用 Memcache

对于大型的站点,如果没有中间缓存层,当流量打入数据库层的时候,即便有之前的几层为我们挡住了大量流量,但是在大并发的请胯下,还是会有大量请求涌入数据库,这样对于数据库服务器的压力冲击很大,响应速度也会下降,因此添加中间缓存层很有必要。

Memcache 是一套分布式的高速缓存系统, 由 LiveJournal 的Brad Fitzpatrick 开发,但目前被许多网站使用以提升网站的访问速度,尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著。

工作原理

Memcache 是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的Hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索出来的结果等。简单的说就是讲数据调用到内存,然后从内存中读取,从而大大提高读取速度。

工作流程

先检查服务端的请求数据是否在 memcached中,如果存在直接把请求数据返回,不再对数据库进行任何操作。如果请求的数据不再memcached中,就去查询数据库, 把从数据库中获取的诗句返回给客户端,同时把数据缓存一份到memcached中。

方法

获取:get(key)

设置:set(key, val, expire)

删除 : delete(key)

通用缓存机制

用查询的方法名 + 参数作为查询时的key value对应中的key值。

使用 Redis

与Memcache的区别

  • 性能相差不大
  • Redis 在2.0版本后增加了自己的 VM 特性,突破了物理内存的限制
  • Memcache 可以修改最大可用内存,采用 LRU(缓存淘汰) 算法
  • Redis 依赖客户端来实现分布式读写
  • Memcache 本身没有数据冗余机制
  • Redis 支持(快照、AOF),依赖快照进行持久化,AOF 增强了可靠性的同时,对性能也有所影响
  • Memcache 不支持持久化,通常做缓存,提升性能
  • Memcache 在并发场景下,用 cas 保证一致性,Redis 事务支持比较弱,只能保证事务中的每个操作的连续执行
  • Redis 支持多种数据类型
  • Redis 用于数据量较小的高性能操作和运算上
  • Memcache 用于动态系统中减少数据库负载,提升性能;适合做缓存,提高性能