Cluster Debian com 320TB Lustre FS nos 1.5PB de discos para seqüenciamento de genoma
“Wellcome Trust Sanger Institute, Inglaterra roda um cluster Debian GNU/Linux em mais de 640 processadores com 320 Terabytes de “dados ativos”, como uma partição swap de memória virtual gigante, contida em seus 1.5 Petabytes de armazenamento em discos. Esta quantidade de dados necessita estar “viva” durante o sequenciamento e análise inicial, e com as necessidades de processamento do software científico no cluster Debian GNU/Linux de mais de 640 processadores , o armazenamento “como swap” precisa prover 320 TB de espaço no sistema de arquivos HP-SFS Lustre. Este projeto é único não apenas por lidar com 1.5 PB de armazenamento, mas por manter 320 TB de armazenamento “como swap” para rápidas comparações e cálculos. O Sanger Institute começou a usar Debian GNU / Linux quando o mundo descobriu quão confiável e útil ele pode ser. Agora o instituto tem de competir por administradores de sistemas capazes de gerenciar grandes clusters usando sistemas de arquivos distribuídos em larga escala com organizações comerciais usando Linux.”
Enviado por André Felipe Machado (andremachadoΘtechforce·com·br) – referência (times.debian.net).
@brlinuxblog
Feed RSS
Nossa, deve ser muito legal jogar Frozen Bubble numa máquina destas!
Será que o Windows Vista rodaria rápido nela? :P
cenoura, provavelmente ele te pediria para comprar um pendrive de 500PBytes para utiizar o sistema ready-booster! :-)
Gente. leia de novo, não é uma máquina é um Cluster linux.
Um supercomputador montado em rede, utilizando recursos compartilhado em uma arquitetura de computador “normal”.
e não como um BlueGen da IBM, que é o computador mais utilizado para este tipo de analise, senão o único!
Comparando ele com o BlueGen que também roda linux, não lembro qual distribuição, o preço é de longe, muito menor tanto de equipamento quanto de manutenção no mesmo!
Debian???? colocar um Gentoo pra ver o quão rápido e confiável fica esse cluster. hehehe
Realmente impressionantes os números. Muito legal.
Escolheram Debian porque ele é estável, pois, entre estabilidade e velocidade devido a pacotes compilados do Gentoo, escolheram a estabilidade! Ainda mais que o Gentoo não é tão testado quanto o Debian!
“Será que o Windows Vista rodaria rápido nela? :P”
Ae cenoura, mesmo que a M$ quisesse, nem a versão hiper/super/ultra-server do podreco tem peito pra levantar uma maquina dessas. =P
O windows é bom como servidor de freecell, paciencia, spider, pinball…
“Será que o Windows Vista rodaria rápido nela? :P”
Ae cenoura mesmo que a M$ quisesse nem a versão hiper/super/ultra-server do podreco tem peito pra levantar uma maquina dessas. =P
O windows é bom como servidor de freecell, paciencia, spider, pinball…
foi mal, duplicado…
Nossa, hehehe, para ver como o Debian é “poderoso”!
Douglas,
O BlueGene/L usa o SLES 9. Das distribuições declaradas o SuSE é a mais usada na supercomputação. Não sei lhe dizer exatamente o motivo, mais já é uma pratica antiga. Acontece que a maioria das distribuições que só são apontadas como “Linux”, logo é difícil saber qual distro realmente domina o mercado de supercomputação.
“…
Acontece que a maioria das distribuições que só são apontadas como “Linux”, logo é difícil saber qual distro realmente domina o mercado de supercomputação.
…”
Bom, pelo menos no TOP 500 Supercomputer Site, esta listagem nos dá mais detalhes sobre distribuição utilizada em supercomputadores (última listagem disponível até o momento):
Operating System share for 11/2007
Que show de besteirol, viu… Em super-computadores, é tudo Linux, tanto faz. Não se usa gerenciador de pacotes, visto que a facilidade não é necessariamente o objetivo. E o Gentoo é tão testado quanto qualquer outra distribuição, inclusive o Debian. Acredito que eles erraram muito na escolha da distribuição, pois com um hardware tão fenomenal, o desempenho deveria ser melhor aproveitado, compilando tudo para o máximo que cada processador pode oferecer, o que definitivamente, não é a ideologia do Debian.
Mas, cada um é cada um…
Penso que o motivo esteja realmente na estabilidade e confiabilidade, e não em alcançar números de benchmark. Eu concordo que seria bem melhor aproveitado se usasse algo otimizado pra aproveitar a qualidade do hardware, mas muitas vezes alto desempenho não significa necessariamente estabilidade.
Além disso, nada impede de você recompilar os programas críticos para otimizar o desempenho, mesmo no Debian ou qualquer distro que seja.
A vantagem do Debian é mesmo a estabilidade, com manutenção de patches de segurança sendo mantidos por vários anos, além do sistema inteiro ser testado *muito* antes de ser colocado como stable.
Qtos capitulos de série cabe nesse Cluster?
será q dá pra armazenar Os Simpsons em HD?
:)
renatogdelf, é justamente disso que eu falei, veja que nessa mesma listagem 381 é dito somente “linux”, depois possui 60 “SUSE”s e 13 Red Hat’s…
Timm, eu não acredito que seja “tudo igual”, alguns desses supercomputadores rodam muito mais que cálculos matemáticos, e as diferenças na arquitetura de algumas distribuições pode beneficiar ou não algumas tarefas especificas. Pessoalmente não acredito que a escolha da distribuição é feita ao acaso, até porque tem muito dinheiro investido.
Se é Debian, Gentoo, SUSE, Red Hat, Kurunin, acredito que para nós é totalmente irrelevante, porém é interessante ver que distribuições conhecidas por nós são escolhidas nesses projetos, seja lá qual for os critérios envolvidos.