O Goole é um sistema de busca popular para achar informações na Internet. Embora sua popularidade seja devida, em parte, à sua interface simples e tempo de reposta rápido, seu projeto não é nada simples. Do ponto de vista do Google, o problema é que ele tem de achar, indexar e armazenar toda a World Wide Web (mais de 8 milhões de páginas e 1 bilhão de imagens), ser capaz de pesquisar a coisa toda em menos de 0,5 segundo e manipular milhares de consultas/segundo que vêm do mundo inteiro, 24 horas por dia. Ademais, ele não pode parar nunca. E é claro, tem de fazer tudo isso do modo mais barato possível.
Para começar o Google opera várias centrais de dados no mundo inteiro, quando o serviço do google é solicitado, o endereço de IP do remetente é inspecionado e é fornecido o endereço da central de dados mais próxima. E é para lá que o browser envia a consulta.
Diferente da maioria das empresas, quando confrontadas com um imenso banco de dados, taxa de transmissão maciça e a necessidade de alta confiabilidade, compraria o equipamento maior, mais rápido e mais confiável existente no mercado. O google fez exatamente o oposto. Comprou PCs baratos, de desempenho modesto. Muitos deles. E, com eles, montou o maior cluster de prateleira do mundo (consiste em centenas de milhares de PCs conectadas por uma placa de rede). O princípio diretor dessa decisão foi simples: otimizar preço/desempenho.
A lógica que fundamentou essa decisão está na economia: PCs normais são muito baratos. Servidores de alta tecnologia não são e grandes multiprocessadores, menos ainda. Assim, enquanto um servidor de alta tecnologia pudesse ter duas ou três vezes o desempenho de um PC de mesa médio, normalmente seu preço seria de 5 a 10 vezes mais alto, o que não é eficiente em termos de custo.
Claro que PCs baratos falham mais do que servidores de topo de linha, mas os últimos também falham, portanto o software do Google tinha de ser projetado para funcionar com hardware que falhava, não importando qual equipamento estivesse usando. Uma vez escrito o software tolerante a falhas, na verdade não importava que a taxa fosse de 0,5% por ano ou 2% por ano, elas teriam de ser tratadas. A experiência do Google diz que cerca de 2% dos PCs falham por ano. Mais da metade das falhas se deve a discos defeituosos, seguidos por fontes de energia e chips RAM. Uma vez construídas, as CPUs nunca falham. Na verdade, a maior fonte de quedas não é o hardware é o software. A primeira reação a uma queda é apenas reinicializar, o que muitas vezes resolve o problema.
Um típico PC moderno da Google consiste em um Pentium de 2Ghz, 512 MB de RAM e um disco de cerca de 80GB, o tipo de máquina que uma avó compraria para verificar ocasionalmente seu e-mail. O único item especializado é um chip Ethernet. Uma típica central de dados utiliza uma fibra ótica OC-48 de alta largura de banda de entrada que é roteada para cada um dos comutadores Ethernet.
O Google aprendeu três coisas sobre executar servidores Web maciços que é bom repetir:
1. Componentes falham, portanto planeje a falha.
2. Duplique tudo para manter a vazão e a disponibilidade
3. Otimize preço/desempenho.
Nesta quinta feira, 14/05/2009, uma pane generalizada, oficialmente causada nos servidores da China, Austrália e França, atigiu os servidores do Google. Oficialmente, o Google Brasil não sabe dizer se a pane atingiu os brasileiros.
"A questão afetando alguns serviços do Google foi resolvida. Lamentamos pela inconveniência e divulgaremos mais detalhes em breve", afirma nota divulgada pelo buscador. O vice-presidente sênior de operações, Urs Hoelzle, afirmou que a instabilidade foi causada por um congestionamento de tráfego em roteadores na Ásia após o Google começar a redirecionar usuários de seus serviços pela região por um erro na rede.
"Como resultado, cerca de 14% dos nossos usuários experimentaram lentidões ou mesmo interrupções de serviços. Sentimos pelo que aconteceu e você pode ter certeza de que trabalharemos ainda mais forte para garantir que problemas similares não aconteçam de novo", afirma o post no blog oficial do Google.
Os problemas foram resolvidos, em breve serão divulgados maiores detalhes sobre a verdadeira causa da falha neste, que é sem dúvida, um exemplo de criatividade e eficiência em se tratando de custo/benefício.
Para começar o Google opera várias centrais de dados no mundo inteiro, quando o serviço do google é solicitado, o endereço de IP do remetente é inspecionado e é fornecido o endereço da central de dados mais próxima. E é para lá que o browser envia a consulta.
Diferente da maioria das empresas, quando confrontadas com um imenso banco de dados, taxa de transmissão maciça e a necessidade de alta confiabilidade, compraria o equipamento maior, mais rápido e mais confiável existente no mercado. O google fez exatamente o oposto. Comprou PCs baratos, de desempenho modesto. Muitos deles. E, com eles, montou o maior cluster de prateleira do mundo (consiste em centenas de milhares de PCs conectadas por uma placa de rede). O princípio diretor dessa decisão foi simples: otimizar preço/desempenho.
A lógica que fundamentou essa decisão está na economia: PCs normais são muito baratos. Servidores de alta tecnologia não são e grandes multiprocessadores, menos ainda. Assim, enquanto um servidor de alta tecnologia pudesse ter duas ou três vezes o desempenho de um PC de mesa médio, normalmente seu preço seria de 5 a 10 vezes mais alto, o que não é eficiente em termos de custo.
Claro que PCs baratos falham mais do que servidores de topo de linha, mas os últimos também falham, portanto o software do Google tinha de ser projetado para funcionar com hardware que falhava, não importando qual equipamento estivesse usando. Uma vez escrito o software tolerante a falhas, na verdade não importava que a taxa fosse de 0,5% por ano ou 2% por ano, elas teriam de ser tratadas. A experiência do Google diz que cerca de 2% dos PCs falham por ano. Mais da metade das falhas se deve a discos defeituosos, seguidos por fontes de energia e chips RAM. Uma vez construídas, as CPUs nunca falham. Na verdade, a maior fonte de quedas não é o hardware é o software. A primeira reação a uma queda é apenas reinicializar, o que muitas vezes resolve o problema.
Um típico PC moderno da Google consiste em um Pentium de 2Ghz, 512 MB de RAM e um disco de cerca de 80GB, o tipo de máquina que uma avó compraria para verificar ocasionalmente seu e-mail. O único item especializado é um chip Ethernet. Uma típica central de dados utiliza uma fibra ótica OC-48 de alta largura de banda de entrada que é roteada para cada um dos comutadores Ethernet.
O Google aprendeu três coisas sobre executar servidores Web maciços que é bom repetir:
1. Componentes falham, portanto planeje a falha.
2. Duplique tudo para manter a vazão e a disponibilidade
3. Otimize preço/desempenho.
Nesta quinta feira, 14/05/2009, uma pane generalizada, oficialmente causada nos servidores da China, Austrália e França, atigiu os servidores do Google. Oficialmente, o Google Brasil não sabe dizer se a pane atingiu os brasileiros.
"A questão afetando alguns serviços do Google foi resolvida. Lamentamos pela inconveniência e divulgaremos mais detalhes em breve", afirma nota divulgada pelo buscador. O vice-presidente sênior de operações, Urs Hoelzle, afirmou que a instabilidade foi causada por um congestionamento de tráfego em roteadores na Ásia após o Google começar a redirecionar usuários de seus serviços pela região por um erro na rede.
"Como resultado, cerca de 14% dos nossos usuários experimentaram lentidões ou mesmo interrupções de serviços. Sentimos pelo que aconteceu e você pode ter certeza de que trabalharemos ainda mais forte para garantir que problemas similares não aconteçam de novo", afirma o post no blog oficial do Google.
Os problemas foram resolvidos, em breve serão divulgados maiores detalhes sobre a verdadeira causa da falha neste, que é sem dúvida, um exemplo de criatividade e eficiência em se tratando de custo/benefício.
