Consulta: Como aproveitar para pesquisas de uma universidade o tempo ocioso das máquinas de seus laboratórios?
Enviado por Ramon Kleber da Rocha (rocharkΘyahoo·com):
“Sou químico professor em uma universidade particular que possui vários labs de informática, que ficam ociosos o dia inteiro. Gostaria de usar esse ocioso potencial computacional para desenvolver projetos na área de computação científica, especificamente, em simulações de sistemas químicos e biológicos. Bem, como não tenho autorização para instalar sistemas ou aplicativos nas máquinas, precisaria de um sistema que explorasse temporariamente os processadores e memórias para o trabalho pesado, algo que pudesse rodar a partir de um laptop que distribuiria as tarefas e gerenciaria toda a simulação. No final do dia, antes do início das aulas, bastaria desligar tudo e recomeçar no dia seguinte. Soube que alguém conseguiu algo assim nos EUA em 2004, que ficou conhecido como Flashmob Computing, baseado em knoppix, mas o sistema não está atualizado e não roda processadores mais novos.
Alguem conhece sistema que faça algo semelhante e possa ser instalado para uso pela universidade?” [referência: flashmobcomputing.org]
Alguem conhece sistema que faça algo semelhante e possa ser instalado para uso pela universidade?” [referência: flashmobcomputing.org]
• Publicado por Augusto Campos em
2010-09-17
@brlinuxblog
Feed RSS
Existia um projeto chamado Mosix
http://en.wikipedia.org/wiki/MOSIX
que permitia isso. Só não sei se ele é mais gratuito para uso universitário.
http://www.mosix.org/txt_acad.html
Depois surgiu e terminou um fork chamado OpenMosix. Me parece que com o fim do OpenMosix surgiu um projeto que aproveitou parte do código chamado LinuxMPI
http://en.wikipedia.org/wiki/LinuxPMI
Sou aluno de química de uma universidade federal. Eu e o grupo de pesquisa do qual participo estamos montando um cluster para realização de calculos na área de estrutura eletrônica molecular.
Estamos montando as máquinas a partir do zero, utilizando Debian. Para realização de modelagens e análises eletrônicas os principais softwares que estamos implementando são ORCA e GAMESS. A implementação do GAMESS é bastante complicada e não sei se seria possível utilizá-lo no cenário descrito, no entanto, o software ORCA é bem mais prático de implementar e é bem possível que seu uso no cenário sugerido não apresente muitas dificuldates. O software Gromacs é bastante interessante para a área de dinâmica mas ainda não começamos a trabalhar com este por isso não tenho como discutir a respeito.
Minha sugestão é que você pegue duas máquinas quaisquer e tente prepará-las como master e nó para as tarefas que lhe interessam. Feito isso você pode preparar uma imagem de ambas e disponibilizá-las em um servidor PXE (o próprio dhcpd tem suporte para isso), assim as máquinas do laboratório poderiam fazer boot via rede das imagens prontas.
Já adianto: não espere muito. Sem interfaces gigabit, bons processadores e bastante memória você não vai conseguir muita coisa. Calculos complexos demais demoravam dias, quase semanas, na nossa estrutura anterior, mas calculos mais simples podem ser executados sem grandes dificuldades.
Um projeto – grande – nesta área é o BOINC, que faz exatamente isso q vc descreveu, pois usa só o tempo ocioso das máquinas. É open source, mas não sei se é possível utilizá-lo em projetos próprios, pq parece-me que funciona somente como cliente do sistema de cluster do set@home
ops, parece q dá sim pra usar nos seus projetos (que Sagan seja louvado):
http://boinc.berkeley.edu/trac/wiki/ProjectMain
Bem, e que tal o Condor (http://www.cs.wisc.edu/condor/) aproveita o tempo ocioso das máquinas.
Tenchi,
Acredito que o BOINC deveria ser instalado por padrão em todos os PCs de todas as universidades. Como os processos entram como prioridade minima não atrapalha em nada (eu mesmo jogo com o boinc ligado).
Porém eu prefiro usa-lo como cliente para o World Web Grid e para o Einten@home, gosto do seti@home porém acho que buscar cura de doenças algo mais prioritario.
@Wallacy, como assim curar doenças é mais importante do que entrar em contato com ETs? hauahuahauhauahauhauha Que o espírito de Carl Sagan puxe seu pé a noite e diga: “Eu não sou uma alma penada, pois fantasmas não existem e provavelmente tudo isso é fruto de sua imaginação”. Tenso :-)
Mas concordo que as universidades deveriam substituir o papel de parece padrão dos laboratórios pelo gráfico de progresso do boinc, que eu pessoalmente acho muito bom :-)
Ramon,
Não conheço nenhuma forma de usar o poder de processamento de uma máquina sem software específico instalado nela. Mas se vc não tem muitos privilégios, eu recomendo fortemente o Ourgrid.
http://www.ourgrid.org/
Livre, brasileiro e muito simples de manter.
[]‘s
O Boinc é uma excelente alternativa, instalamos em mais de 200 maquinas no departamento em que trabalho.
E quanto aos projetos há um cardápio generoso para escolher em beneficio de várias causas.
o xgrid (protocolo) da apple roda em linux via user-space, da uma olhada, em 5 min eu coloco meus mac`s para trabalharem juntos, com linux e afins, é bem legal =)
e se estiver no mundo mac, é possivel enviar applescript`s para usar os programas consagrados: ex.: foto de 200 megapixel, usa rmagic para cortar elas no proc central e dps o fofoshops para alguma manipulação em serie usando os nós
tem também o hadoop é meio chato de instalar, talvez um remaster báisco que venha com ele ja configurado seja util
outra opção criar um p2p tasks manager, que vc simplesmente abre e ele começa a receber tasks e pode enviar também, na verdade gostei disso deu ate vontade de implementar
Sugiro o BOIC!
Um sistema de grande penetração em que você poderá contar com computadores do mundo todo!
Vale a pena dar uma estudada no site: http://boinc.berkeley.edu/
Tenho rodando aqui em duas máquinas e nem percebo diferença alguma.
Boa iniciativa! Este assunto pode ser parte de uma pesquisa a ser realizada por seus alunos. Já pensou nisso?
Abraços
Como Erick Moreno acima, também sugiro o OurGrid.
http://www.ourgrid.org/
[]s,
Gabriel Assis Bezerra
Duas opções nacionais na área acadêmica são o Ourgrid (http://www.ourgrid.org), do pessoal da UFCG, e o InteGrade (http://www.integrade.org.br/). Ambos são de instalação muito mais fácil que o BOINC, Condor, Globus, etc. e têm como propósito exatamente o que você deseja: formar uma grade computacional oportunista, onde recursos podem entrar e sair da grade a qualquer momento. Vale uma pena dar uma olhada nas duas.
Ah, o ourgrid, como mencionaram, não precisa de permissão especial nenhuma para executar. Java puro rodando sobre a JVM. E você não precisaria desligar – religar o sistema: as máquinas que não estivessem ociosas automaticamente param de oferecer recursos à grade.
Reforço a opinião dos colegas acima, o ourgrid pode ser a solução para o seu problema.
Existem alternativas também em que você aluga poder computacional conforme precisa e se não precisar mais, para de ter custos.
Tem o: http://www.sabalcore.com/
E tem como alugar supercomputadores sob demanda também aquio na empresa: http://www.bsrsoft.com.br
O custo é muito em conta para trabalhos esporadicos e o poder computacional que voce pode alugar é enorme.
Mas se não tiver orçamento e nem como financiar isso com alguma agencia de fomento para a universidade, sugiro o BOINC ou o http://www.ourgrid.org/
Eles não vão te dar poder enorme just in time, mas resolvem questões pontuais.
@André
Acredito que a questão era que há poder computacional disponível (uma porrada de computadores ociosos durante boa parte do dia) e ele quer aproveitar-se dele. Não fosse por isso, sua sugestão é realmente boa.
@Francisco
Caso seja viável o uso das máquinas dos laboratórios na universidade, ele pode usar tanto o http://www.ourgrid.org/ quanto por exemplo o PP (Parallel Python).
O Parallel Python, nós usamos inclusive em nosso maior super computador aqui. Ele distribui o processamento por diversos núcleos e por diversas máquinas diferentes em rede.
No nosso caso, usamos o PP em um supercomputador do tipo SSI (Silgle Server Image) rodando Ubuntu Server e EXT4 como sistema de arquivos.
Estamos aguardando a estabilização total do BTRFS para usá-lo no lugar do EXT4.
Fica ai a sugestão com base em nossa experiência.
PS: O PP roda também em máquinas Windows em cima de usuários sem privilégios administrativos. (o mesmo para o Linux)
PelicanHPC, que é o sucessor do parallelknoppix
http://idea.uab.es/mcreel/ParallelKnoppix/
Veja este excelente tuto em
http://paraibanodanado.blogspot.com/2010/02/cluster-de-alta-performance-com.html
Apesar do tutorial ensinar usando o virtualbox, se aplica perfeitamente no seu caso, sem o virtualbox.
gil
Caramba, eu realmente não sabia que haviam tantos projetos open source na área.
Eu recomendo que ele coloque um protetor de tela bem legal nas máquinas :-)
Oi pessoal,
agradeço imensamente os comentários postados com cerca de 10 diferentes possíveis soluções para o meu problema, bem como algumas novas idéias, mérito do br-linux. Prometo pesquisar cada sugestão e assim que tiver alguns resultados divulgo aqui mesmo. Agradeço também ao Augusto Campos por todo apoio.
Ramon Rocha
@André
Legal, eu não conhecia esse PP. Vou dar uma olhada. A questão de rodar em ambientes heterogêneos é bastante interessante, e o mesmo se dá no Ourgrid. Outro ponto interessante do ourgrid é a possibilidade de usar, quando as máquinas dos laboratório dele não estiverem disponíveis, as outras máquinas de laboratórios de pesquisa distribuídos pelo mundo – por isso um dos primeiros artigos divulgando o ourgrid chama-se “Labs of the World, unite!”. Tudo isso com mínima necessidade de configuração, quase Out-of-the-box.
Gostaria de saber se alguém aqui ja testou esses e se funciona em qualquer programa?
Tipo o OurGrid por funcionar em uma JVM (Maquina Virtual Java) então pelo q entendi os programas tem q ser escrito em JAVA pra poder rodarem na Grid correto?
Tem alguns deses q poderia utilizar em qualquer programa?
Tipo renderizar uma imagem (no Blender ou Maya),Ripar uma DVD, algo q não precise usar alguma linguagem ou sistema especifico?
Utilizando a Grid como um processador multi-core?
Obrigado