HS Clusters para Balanceamento de Carga

Jaqueline Santos, Aline Lcia, Andr Marques, Manoel Augusto, Renato Drea, Rodney Carlos, ber Rodrigo Faculdade de Tecnologia de Guaratinguet (FATEC) Avenida Professor Joo Rodrigues Alckimin, 1501 - Jardim Esperana Guaratinguet SP - Brasil
{ticline_jaque, eberrodrigo, alinelucia_fatec, renatodorea, manoelaugusto}@hotmail.com, rodsulzi@uol.com.br, aluiz20@bol.com.br

Resumo. Este artigo apresenta o conceito de cluster de balanceamento de carga e os principais algoritmos utilizados e implementao de HS tanto para Windows quanto para Linux. PALAVRAS CHAVES: Cluster, Balanceamento de Carga, Requisies

1. INTRODUO
Muitas aplicaes necessitam de um poder computacional superior quele fornecido pelos computadores convencionais. Esta limitao pode ser superada aumentando a velocidade dos processadores e outros componentes do sistema. Uma alternativa economicamente vivel conectar vrios computadores e gerenciar seus recursos, assim definido o conceito de Cluster. Cluster pode ser compreendido como um grupo de computadores conectados com o objetivo de ganho de performance, disponibilidade e facilidade no gerenciamento. Devido queda nos custos dos computadores e a facilidade de implementao do ponto de vista de hardware e software, a tecnologia de Cluster tem conquistado espao nos ltimos anos, e est se tornando comum a utilizao desta modalidade de ambiente computacional nas mais variadas instituies, como: empresas, centros de pesquisas ou at mesmo unidades de ensino. uma tecnologia capaz de substituir supercomputadores em certos tipos de aplicaes como: simulaes, clculos cientficos e outras que necessitam de alto desempenho. Os trs tipos mais comuns de Cluster encontrados atualmente so: Alta Disponibilidade (High Availability HA); Alto Desempenho de Computao (High Performance Computing HPC); Balanceamento de Carga (Horizontal Scaling HS). Este artigo aborda os conceitos fundamentais de clusters de balanceamento de carga. Segundo Zem (2005) um Cluster de Balanceamento de Carga utilizado para fornecer uma interface simplificada para um conjunto de recursos que aumentam ou diminuem com o passar do tempo e conforme a necessidade. Neste tipo de Cluster, esto implcitos os conceitos da alta disponibilidade (com a redundncia de componentes) e de alto desempenho de computao (com a distribuio das tarefas completas pelos vrios componentes replicados).

Um Cluster de Alta Disponibilidade pode ser entendido como um ambiente computacional onde a falha de um ou mais componentes no ir afetar significativamente a disponibilidade do ambiente de computao ou aplicaes que estejam sendo usadas. Um Cluster de Alto Desempenho fornece maior poder de computao para a soluo de um problema que geralmente est relacionado com aplicaes cientficas, de simulao ou de manipulao de imagens.

2. BALANCEAMENTO DE CARGA
O balanceamento de carga pode ser visto como uma soluo abrangente na utilizao de grandes redes porque prov um aumento na capacidade da rede, melhorando sua performance. Os sistemas de Cluster baseados em balanceamento de carga integram seus ns para que todas as requisies provenientes dos clientes sejam distribudas de maneira equilibrada entre os ns. Este tipo de cluster especialmente utilizado em servios de comrcio eletrnico e provedores de internet que necessitam resolver diferenas de carga provenientes de mltiplas requisies de entrada em tempo real. Assim temos uma ou vrias mquinas que cuidam de repartir as requisies entre os servidores, de modo que cada um cuida de parte das requisies e envia de volta as respostas que sero enviadas aos usurios. Todos os servidores mantm uma cpia integral de todos os dados, j que de qualquer forma cada servidor precisar de todos os dados para atender as requisies que chegarem at ele. Um software de controle se encarrega de sincronizar os dados entre os servidores automaticamente. Caso algum dos servidores precise ser desligado, seja por alguma falha, ou ento para algum tipo de manuteno, os outros continuam trabalhando normalmente. Ao voltar, o programa de controle sincroniza o servidor com os demais e ele volta ativa. Quando no h o balanceamento de carga em um sistema com servidores que tm a mesma capacidade de resposta pode ocorrer que mais de um servidor responda uma requisio feita e assim a comunicao ser prejudicada. Alguns pontos principais para uma implementao com sucesso em um ambiente com balanceamento de carga nos servidores: - O algoritmo usado para o balanceamento de carga, levando em conta que todo o processo de escolha e resposta do servidor deve ocorrer de modo transparente e imperceptvel para o usurio como se no existisse o balanceamento. - Criar um mtodo usado para checar se os servidores esto funcionando, de tal forma que a comunicao no seja redirecionada para um servidor que acabou de ter uma falha.

3. ALGORITMOS DE BALANCEAMENTO
Os algoritmos para balanceamento so um dos fatores mais importantes, determinam os mtodos de escalonamento, ou seja, regulam a maneira como a carga e distribuda entre os ns que compe o sistema. Vamos explanar trs mtodos bsicos: 3.1. Least Connections (Seleo por menos conexes) Esta tcnica redireciona as requisies para o servidor baseado no menor nmero de requisies. Por exemplo, se o servidor A est controlando atualmente 40 requisies ou conexes, e o servidor B controla 20 requisies ou conexes, a prxima requisio ser automaticamente direcionado para o servidor B, desde no momento o servidor B tenha um nmero menor de requisies ou conexes ativas. 3.2. - Round Robin (Seleo circular) Mtodo que utiliza a tcnica de sempre direcionar as requisies para o prximo servidor disponvel de uma forma circular. Por exemplo, as conexes de entrada so dirigidas para o servidor A, depois servidor B e finalmente servidor C e depois retorna ao servidor A. 3.3. - Weighted Fair (Seleo por menos carga) Tcnica que dirige os pedidos para os servidores baseados na carga de requisies de cada um e na capacidade de resposta dos mesmos (performance), ou seja, se o servidor A trs vezes mais rpido no atendimento aos pedidos do que o servidor B, o administrador coloca um peso maior de trabalho para o servidor A do que o servidor B.

4. MONITORAMENTO DE ESTADO
Normalmente, nesse ponto que surgem questes, como: o balanceador de carga decide para qual host encaminhar a conexo, e o que acontece se o host selecionado no estiver funcionando? que ele no responder ao pedido do cliente e o tempo da conexo se esgotar, fazendo que ela falhe. por isso que a maioria das tecnologias de balanceamento de carga incluem algum tipo de "Monitoramento de estado" que determina se um host est ou no disponvel antes de tentar estabelecer conexes com ele. Existem vrios nveis de monitoramento de estado, cada um deles com granularidade e foco crescentes. Um monitor bsico ir apenas executar um PING e aguardar a resposta do host, se o host no responder ao PING, razovel assumir que os servios definidos no host provavelmente no esto ativos e deveriam ser removidos do cluster de servios disponveis. Infelizmente, mesmo que o host responda ao PING, isso no significa necessariamente que o servio est funcionando,por isso, a maioria dos dispositivos tm

a capacidade de executar algum tipo de "PINGS de servio", desde conexes TCP simples at a interao com o aplicativo por meio de scripts. Esses monitores de estado de alto nvel no s oferecem mais confiana na disponibilidade do servios (e no do host) como tambm permitem que o balanceador de carga distinga entre outros servios em um mesmo host. O balanceador de carga entende que, embora um servio possa estar indisponvel, outros servios no mesmo host podem estar funcionando perfeitamente e devem ser considerados como destinos vlidos para o trfego de usurios. Como o balanceador de carga decide para qual host encaminhar o pedido de conexo, cada servidor virtual tem um cluster dedicado a servios (listando os hosts que oferecem aquele servio) formando uma lista de possibilidades. Alm disso, o monitoramento de estado modifica essa lista para marcar os hosts atualmente disponveis que fornecem o servio indicado. Essa lista modificada ser usada pelo balanceador de carga para escolher o host que receber a nova conexo. Decidir qual ser o host exato depende do algoritmo de balanceamento de carga associado quele cluster em particular. O mais comum o round-robin simples, em que o balanceador de carga percorre a lista de cima para baixo, alocando cada nova conexo para o prximo host; chegando ao fim da lista, ele retorna ao incio. Embora isso seja simples e previsvel, ele assume que todas as conexes tero uma carga e durao similares no host de segundo plano. Os sistemas de balanceamento de carga suficientemente avanados sero capazes de sintetizar as informaes do monitor de estado com os algoritmos de balanceamento para incluir uma compreenso da dependncia de servios. Esse o caso quando um nico host tem vrios servios, todos necessrios para completar o pedido do usurio. Um exemplo comum seria em situaes de comrcio eletrnico, em que um nico host fornecer servios HTTP padro (porta 80) bem como HTTPS (SSL/TLS na porta 443). Em muitas dessas circunstncias, voc no quer que o usurio v para um host que tenha um servio operacional, e o outro no. Em outras palavras, se o servio HTTPS falhar em um host, voc tambm vai querer que o servio HTTP daquele Host seja excludo da lista de servios disponveis naquele cluster. Essa funcionalidade cada vez mais importante, visto que servios baseados em HTTP se tornam mais diferenciados com o uso de XML e scripting.

5. MANUTENO DA CONEXO
Quando um cliente inicia um pedido de transao, o balanceamento de carga na escolha dos servios apenas metade da soluo. Estando a conexo estabelecida, o balanceador de carga tem que manter um registro para escolher se o trfego daquele usurio deve ser balanceado ou no. Geralmente, h dois problemas especficos com o gerenciamento do trfego que teve a carga balanceada: manuteno da conexo e persistncia. Se o usurio estiver tentando usar uma conexo TCP de grande durao (telnet, FTP e outras) que no se finalizam rapidamente, o balanceador de carga tem que se certificar de que os muitos pacotes de dados trafegando por aquela conexo no sejam

direcionados para outros hosts de servios disponveis. Esse processo chamado de manuteno da conexo e exige duas capacidades principais: 1) manter um registro das conexes abertas e do host de servios ao qual elas pertencem; 2) continuar a monitorar aquela conexo para que a tabela de conexes possa ser atualizada quando a conexo for encerrada. Isso um procedimento padro para a maioria dos balanceadores de carga. Entretanto, est se tornando muito comum o uso de conexes TCP mltiplas de vida curta (por exemplo, o HTTP) pelo cliente para executar uma s tarefa. Em alguns casos, como a navegao comum na web, isso irrelevante e cada nova requisio pode ser direcionada a qualquer um dos hosts de servios de segundo plano; entretanto, h muitas outras instncias (como XML, carrinhos de compra, HTTPS e afins) em que imprescindvel que vrias conexes do mesmo usurio sejam direcionadas ao mesmo host de servios de segundo plano, em vez de terem a carga balanceada. Esse conceito se chama persistncia ou afinidade com servidor. H muitas maneiras de cuidar desse problema, dependendo do protocolo e dos resultados desejados. Por exemplo, nas transaes HTTP modernas, o servidor pode especificar uma conexo "keep alive" para agrupar as vrias conexes de vida curta em uma nica conexo de vida longa, que pode ser gerenciada como qualquer outra conexo de vida longa. Infelizmente, isso no o suficiente para resolver o problema. O mais grave, com o aumento do uso dos servios web, manter todas essas conexes abertas por mais tempo do que o necessrio, sobrecarregando os recursos de todo o sistema. Nesses casos, a maioria dos balanceadores de carga oferece outros mecanismos para criar uma afinidade artificial com o servidor. Uma das formas mais bsicas de persistncia a afinidade de endereo de origem. Isso envolve o simples registro do IP de origem dos pedidos recebidos e do Host de servios a que foram encaminhados, fazendo que todas as transaes futuras sejam enviadas ao mesmo Host. Essa tambm uma forma simples de lidar com dependncias de aplicativos, visto que pode ser aplicada em todos os servidores virtuais e servios. Na prtica, entretanto, o uso disseminado de servidores proxy na Internet, bem como em redes corporativas internas, inutilizou esse tipo de persistncia; embora ela funcione, os servidores proxy escondem muitos usurios por trs de um nico endereo IP, o que faz que o trfego desses usurios no possa ser balanceado aps o pedido do primeiro usurio, basicamente anulando a capacidade de balanceamento de carga. Hoje, a inteligncia dos dispositivos de balanceamento de carga permite que voc abra os pacotes de dados e crie tabelas persistentes com virtualmente qualquer coisa dentro deles. Dessa forma, voc pode usar informaes mais exclusivas e identificveis como o nome de usurio para manter a persistncia; entretanto, necessrio ser cuidadoso para garantir que essas informaes identificveis do cliente sero exibidas em todos os pedidos feitos, visto que todos os pacotes sem essa informao no sero considerados persistentes e passaro pelo processo de balanceamento de carga, o que provavelmente causaria erros no aplicativo.

6. TRANSAO BSICA DO BALANCEAMENTO

O balanceador de carga normalmente fica alinhado entre o cliente e os hosts que fornecem os servios desejados pelos clientes; como isto no uma regra, mas uma boa prtica em uma implementao considera-se que o balanceador de carga est configurado como servidor virtual que aponta para um cluster formado por dois pontos de servio. Na implementao normal que os hosts tenham uma rota de retorno que aponte de volta para o balanceador, para que o trfego de retorno seja processado por ele, no caminho de volta para o cliente. A transao bsica de balanceamento de carga funciona: 1. O cliente tenta conectar ao servio no balanceador de carga. 2. O balanceador de carga aceita a conexo e, aps decidir qual host deve receber a conexo, muda o IP de destino (e talvez a porta) para combinar com o servio do host selecionado (note que o IP de origem do cliente no alterado). 3. O host aceita a conexo e responde ao cliente original pelo balanceador de carga. 4. O balanceador de carga intercepta o pacote de retorno do host e muda o IP de origem (e provavelmente a porta) para combinar com o IP e a porta do servidor virtual, que encaminha o pacote de volta para o cliente. 5. O cliente recebe o pacote de retorno, pensando que ele vem do servidor virtual, e d continuidade ao processo.

Figura 1. Transao Bsica do Balanceamento

7. LINUX VIRTUAL SERVER - LVS

Linux Virtual Server (LVS) uma tecnologia que permite a construo de sistemas com balanceamento de carga, alta disponibilidade e altamente escalveis, a partir do uso conjunto de vrios servidores. Os servios esto disponveis em um conjunto de mquinas que so acessados atravs de um servidor. Garante servios de maior capacidade/desempenho, ou servios redundantes.

O LVS possui uma arquitetura totalmente transparente para o usurio final, a semntica padro do cliente-servidor continua preservada, onde cada cliente pensa que est diretamente conectado a um servidor real e este pensa que est conectado diretamente a um cliente. Nem o cliente nem o servidor sabem que as conexes sofrem a interveno de um direcionador (balanceador). O cdigo IPVS, onde est configurado o tipo de algoritmo de balanceamento, responsvel por distribuir a carga de requisies de servios entre as mquinas que provem o LVS, e transforma a mquina linux num roteador com caractersticas especiais, capaz de balancear sesses TCP e UDP entre vrias mquinas. Este roteador especial (balanceador de carga) chamado Linux Director (ou simplesmente Director) Com isso, o sistema constitudo pela mquina Linux com o cdigo IPVS e as outras mquinas que hospedam os servios chamado Linux Virtual Server (LVS).

Figura 2. Linux Virtual Server - LVS

importante ressaltar que as mquinas podem receber funes diferentes dentro do cluster, ou seja, apesar da existncia de vrios ns de computao, no necessariamente um servio obrigado a utilizar todos eles. Pode-se, logicamente, configurar quais ns de computao iro cooperar em um mesmo servio. Por exemplo, dois servidores podem executar os servios FTP, outros dois Telnet. O sistema LVS no necessita de nenhuma modificao nos Servidores Reais ou nos clientes. Estes por sua vez, enviam suas requisies apenas para uma mquina (Director) no importando quantos Servidores Reais estejam provendo os servios, que podem ser os comuns HTTP, servidores de e-mail, bancos de dados, SSH. Seu principal ponto crtico de falha o Director, mas pode-se construir um sistema de alta-disponibilidade (redundncia de mquina) aumentando sua confiabilidade e eliminando seu ponto de falha. 7.1. Componentes do LVN Para entendermos melhor o sistema, tornou-se comum o uso de termos especficos para designar seus componentes, segue a descrio de alguns deles:

LVS (Linux Virtual Server): combinao Director+Servidores Reais, que juntos compem o Servidor Virtual, sendo visto pelos clientes como uma nica mquina. Director - mquina que roda o cdigo ipvs. um roteador com regras especiais que recebe requisies de servios de clientes e as repassa para mquinas que disponibilizam os servios. Servidor Real - mquina que hospeda os servios, quem trata requisies de clientes. Mtodos de Redirecionamento (LVS-Nat, LVS-DR, LVS-Tun) mtodos que determinam como os pacotes dos clientes so redirecionados para os Servidores Reais. Mtodos de escalonamento (scheduling) - algoritmos usados pelo Director para selecionar o Servidor Real que vai tratar uma nova conexo estabelecida por um cliente. VIP (Virtual IP) - endereo IP usado pelo Director para fornecer os servios aos clientes. RIP (Real IP) - designa os endereos IP usados pelos Servidores Reais. DIP (Director's IP) - endereo IP usado pelo Director para se comunicar com os Servidores Reais.

7.2. Tipos de Cluster LVS Os sistemas montados com o uso de LVS so, normalmente, descritos pelo tipo de mtodo de redirecionamento das requisies para os ns do cluster. H trs mtodos disponveis: LVS-NAT (Network address translation); LVS-DR (Direct Routing); LVS-TUN (IP tunneling). Obs. Mais de um mtodo pode ser usado em um nico Director, tendo por base as caractersticas dos ns do cluster. O mtodo mais simples de se implementar o LVS-NAT. 7.2.1. LVS-NAT (Network address translation) Em uma configurao LVS-NAT, o Director usa a habilidade do kernel Linux de mudar o endereo IP e porta dos pacotes que passam por ele. Neste mtodo, o Director recebe uma requisio de um cliente e a repassa para um Servidor Real, que a processa, enviando o resultado de volta para o Director, que ento faz as mudanas necessrias para converter o IP dos pacotes no endereo de servidor virtual, dando resposta ao cliente, dando a este a impresso que est tratando apenas com uma mquina.

Figura 3. LVS-NAT Caractersticas do LVS-NAT

Os Servidores Reais devem estar na mesma subrede do Director, As conexes (de entrada e sada) passam todas pelo Director, O Director deve ser o gateway padro dos Servidores Reais, O Director pode remapear nmeros de portas, isto , uma requisio recebida em uma porta dele e pode ser redirecionada para uma porta diferente de um Servidor Real, Qualquer sistema operacional pode ser usado nos Servidores Reais, O gargalo do ambiente pode ser um nico Director configurado para atender a demanda, embora uma rede saturada normalmente seja o problema mais comum. 7.2.2. LVS-DR (Direct Routing) Neste modelo, o Director repassa as conexes para os Servidores Reais e estes respondem diretamente para os clientes que fizeram as requisies. Os Servidores Reais devem estar no mesmo segmento de rede que o Director e possuir uma interface virtual de loopback(lo:0) configurada com o VIP que no responde a requisies ARP, respondendo diretamente ao cliente, o que implica que o Director no necessita estar no caminho de volta. Numa eventual falha do balanceador, os servidores reais podem ser acessados de fora da rede.

Figura 4. LVS-DR Caractersticas do LVS-DR

Os Servidores Reais devem estar na mesma rede que o Director, Somente as requisies passam pelo Director, as respostas so enviadas diretamente aos clientes pelos Servidores Reais, As portas no podem ser remapeadas no Director, No h sobrecarga no Director como no LVS-NAT. 7.2.3. LVS-TUN (IP tunneling) uma tcnica que permite que pacotes IP sejam colocados dentro de outros pacotes IP, permitindo que pacotes destinados a um determinado endereo IP sejam redirecionados para outro endereo, formando um tnel IP. O Director e os Servidores Reais no necessitam estar no mesmo segmento de rede, mesmo estando geograficamente distantes. Dessa forma, os Servidores Reais podem usar qualquer endereo de rede e no apenas endereos privados.

Figura 5. LVS-TUN

Caractersticas do LVS-Tun

Os Servidores Reais no necessitam estar no mesmo segmento de rede que o Director, O Director apenas recebe requisio dos clientes, as respostas so enviadas diretamente dos Servidores Reais, O Director no pode remapear portas, Os sistemas operacionais dos Servidores Reais precisam suportar IP tunneling.

8. Balanceamento de carga em rede (NLB- Network Load Balancing)

O Balanceamento de carga em rede NLB (Network Load Balancing) e a ferramenta da Microsoft Windows destinado a efetuar o balanceamento de carga do trfego TCP/IP de entrada possibilitando que as aplicaes de servidor da internet tenham melhoria na indisponibilidade e escalabilidade, como por exemplo: servidores Web, Proxy, Firewall, etc. O balanceamento de carga em rede, distribui as solicitaes dos clientes em vrios servidores, permitindo a existncia de escalabilidade e gerando uma grande capacidade de receber solicitaes de servios e aplicativos do cliente, o balanceamento de carga de rede distribui o trfego TCP/IP entre vrios servidores web, que constituem um Web farm. Pode-se combinar at 32 servidores que executam o Windows Server em nico cluster, onde podem ser includos hosts sem precisar desligar o cluster. Em cada host carregado o algoritmo de mapeamento estatstico onde utilizado pelos mesmos para determinar qual host est identificando cada requisio de entrada. Caso ocorra uma falha em um dos hosts ou houver um host indisponivel, o balanceamento de carga de rede reconfigura automaticamente o cluster e redireciona o cliente subseqente para hosts que ainda esto ativos. As conexes de cliente abertas sero finalizadas quando o host falhar, ao repetir a solicitao, a conexo do cliente roteada para um host ativo. O NLB permite que todos os computadores no cluster sejam endereados pelo mesmo conjunto de endereos IP, enquanto mantm os IPs dedicados existentes. De forma transparente distribudo s solicitaes dos clientes entre os hosts do cluster usando endereos virtuais de protocolo IP. O balanceamento de carga de rede fornece a opo para especificar que todas as conexes do mesmo endereo IP de cliente sejam tratadas por um determinado host a no ser que ocorra falha neste. Em um conjunto de servidores web, onde utilizado o balanceamento de carga de rede, cada host est em comunicao constante com todos os outros, onde e feito a troca de estatsticas de desempenho e a diviso das responsabilidades de identificar as solicitaes de entrada. Cada solicitao que chega vista por cada host, e o balanceamento de carga de rede tem seu prprio algoritmo para determinar que servidor ir tratar cada solicitao. Os clientes no conseguem distinguir o cluster de um servidor nico, no cluster o servio permanece ininterrupto mesmo em caso de falha de um host do cluster.

Os hosts no cluster respondem simultaneamente a solicitaes de clientes diferentes, mesmo a vrios pedidos do mesmo cliente. Como exemplo, um browser para a Web pode obter cada uma das vrias imagens numa nica pgina Web, a partir de diferentes hosts dentro de um cluster com balanceamento de carga em rede. Isto aumenta a velocidade do processamento diminuindo o tempo de resposta aos clientes. O balanceamento de carga em rede parte do princpio de que um host est a funcionar corretamente dentro do cluster desde que troque heartbeats com outros hosts de cluster. Se outros hosts no receberem uma resposta de qualquer membro ao longo de vrias trocas de heartbeats, iniciam a convergncia para redistribuir a carga que teria sido processada pelo host que falhou.

9. Concluso
Pode-se observar que uma soluo vivel e de custo aceitvel para aplicaes que exigem um poder computacional maior que o oferecido pelos computadores convencionais o uso de clusters, que uma tecnologia capaz de substituir supercomputadores em aplicaes, como: simulaes, clculos cientficos entre outros. Um cluster de balanceamento de carga especialmente utilizado em servios que precisam resolver diferenas de cargas provenientes de mltiplas requisies. Sem o balanceamento de carga pode ocorrer que dois ou mais servidores respondam uma mesma requisio prejudicando a comunicao. Os clusters esto se tornando populares porque alm de trabalhar de forma segura e transparente, resolvem problemas complexos a um custo menor do que supercomputadores.

Bibliografia
Salchow, Jr. Balanceamento de Carga: Conceitos Bsicos, http://www.f5networks.com.br/pdf/white-papers/balanceamento-de-carga-conceitosbasicos-wp.pdf Pitanga, Marcos (2003) Computao em Cluster, http://www.clubedohardware.com.br /artigos/153/1 Zem, J. Lus (2005) Um cluster de computadores de uso geral, Universidade Metodista de Piracicaba. Ministrio do Planejamento, Oramento e Gesto DSI Departamento de Gesto de Sistemas de Informao, Guia de Inovao Tecnolgica de Cluster e Grid, http://guialivre.governoeletronico.gov.br/guiaonline/guiacluster/node48.php.