Usenet

Um diagrama de alguns servidores e clientes Usenet. Os pontos azuis, verdes e vermelhos nos servidores representam quais grupos eles armazenam. Setas entre servidores indicam que os servidores compartilham artigos dos grupos. Setas entre clientes e servidores indica que o usuário subscreve um determinado grupo, recebendo e enviando artigos de/para o servidor.

O Usenet (do inglês, Unix User Network) é um meio de comunicação onde usuários postam mensagens de texto (chamadas de "artigos") em fóruns que são agrupados por assunto (chamados de grupos de notícias). Ao contrário das mensagens de correio eletrónico, que são transmitidas quase que diretamente do remetente para o destinatário, os artigos publicados nos grupos de notícias são retransmitidos através de uma extensa rede de servidores interligados.

O surgimento da rede data de 1979 e a maioria dos computadores participantes naquela época se comunicava através de conexões discadas por um protocolo chamado de UUCP, mas com a popularização da Internet nas décadas de 80 e 90 o sistema passou a funcionar quase que completamente baseado no protocolo NNTP da família de protocolos TCP/IP. O software InterNetNews é hoje o servidor mais utilizado para conectar as máquinas que fazem parte da rede Usenet.

Introdução

A Usenet trata-se de uma das mais antigas redes de comunicação por computador ainda em uso generalizado.

Foi concebida em 1979 e estabelecida publicamente em 1980 na Universidade da Carolina do Norte em Chapel Hill a na Duke University, mais de uma década antes da World Wide Web ter sido desenvolvida e o acesso público à Internet ter sido disponibilizado. Tendo sido baseada originalmente na ARPANET, fazendo uso do UUCP como protocolo de transporte, para oferecer serviço de correio a transferências de arquivos, segundo anúncios haveria um serviço de notícias como o A News. O nome USENET enfatizava, segundo seus criadores, a esperança de que a organização USENIX tivesse um papel ativo no funcionamento do serviço.

Os textos publicados pelos usuários são organizados dentro de categorias chamadas grupos de notícias, que são organizados por hierarquias de assuntos. Por exemplo, sci.math e sci.physics estão dentro da hierarquia sci, ou seja, assuntos científicos. Quando um usuário subscreva para um grupo de notícias o software novo cliente organiza os artigos que o usuário tenha lido.

Nos grupos, a maioria dos textos são respostas para algum outro texto. O conjunto de artigos que podem ser rastreados para um único artigo sem resposta é chamado de lista de discussão. Muitos dos modernos leitores de notícia organizam artigos da mesma forma, em tópicos e sub-tópicos. Assim que um usuário posta um artigo, o texto ficará disponível inicialmente apenas no servidor onde o usuário está conectado. Cada servidor informa aos outros que houve uma mudança em um artigo, que informam essas mudanças para os outros servidores, em cascata. Dessa forma os artigos são copiados de um servidor para outro, até que todos tenham uma cópia do novo texto. Esse mesmo modelo é aplicado em redes peer-to-peer, mas para a Usenet é normalmente o remetente, ao invés do receptor, que inicia as transferências.

Usenet teve uma significativa importância cultural na sociedade virtual, popularizando ou informando grande variedade de conceitos e termos, os famosos "FAQ" e "spam" são bons exemplos.

Hoje, Usenet tem diminuído em importância em relação aos fórums, blogues e listas de correio eletrónico. A diferença, contudo, é que este sistema de troca de informações não requer registro com o grupo de interesse. Os arquivos estão sempre disponíveis e a leitura de mensagens não requer um cliente de email ou web (mas um cliente de notícias). Em sua maior parte, esta foi substituída pela Internet como a conhecemos hoje, mas ainda hoje tem um grande número de utilizadores.

A Usenet foi originalmente criada para distribuir conteúdo de texto codificado no conjunto de caracteres ASCII de 7 bits. Com a ajuda de programas que codificam os valores de 8 bits em ASCII, tornou-se prática a distribuição de ficheiros binários. As mensagens binárias, devido ao seu tamanho e ao facto de não ser possível confirmar que o direito de cópia era assegurado, foram restritas a Newsgroups específicos, tornando-se mais fácil para os administradores permitir ou não o seu tráfego.

O método mais antigo de codificação utilizado para conteúdo binário é uuencode, baseado em UUCP Unix. No final da década de 1980, as submissões na Usenet foram muitas vezes limitadas a 60.000 caracteres, e ainda maiores limites existem hoje. Os ficheiros são, portanto, geralmente divididos em secções que requerem, posteriormente, a sua junção por parte do leitor.

Leitores (newsreader)

Os grupos de notícias são acessados tipicamente com newsreaders: aplicação que permite ao usuário ler e responder a publicações nos grupos de notícias. Esses aplicativos atuam como clientes para um ou mais servidores de notícias. Embora historicamente a Usenet fosse associada com o sistema operacional Unix desenvolvido na AT&T, newsreaders estão disponíveis para todos os principais sistemas operacionais. Clientes de e-mail modernos ou "suítes de comunicação" tem comumente integradas um newsreader. Muitas vezes, porém, esses clientes integrados são de baixa qualidade, em comparação com newsreaders independentes, e implementam incorretamente protocolos, normas e convenções da Usenet. Muitos desses clientes integrados, são detestados pelos puristas por causa de seu mau comportamento.

Com o surgimento da World Wide Web (WWW), web front-ends (web2news) tornaram-se mais comuns. Com os web front-ends diminuiu-se as barreiras técnicas dos aplicativos Usenet. Existem inúmeros sites que oferecem portais baseados na web para grupos Usenet, mas por uma razão ou outra algumas pessoas começaram a filtrar mensagens feitas por algumas dessas interfaces. Google Groups é uma dessas front-end baseadas na web e alguns navegadores da Web podem acessar o Google Groups via news.

Grupos de notícias moderados e não-moderados

Uma minoria dos grupos de notícias são moderados, ou seja, as mensagens enviadas não são distribuídas diretamente para a Usenet, mas sim, enviadas para o moderador do newsgroup para serem aprovadas. Os moderadores são responsáveis por receber os artigos enviados, revê-los e enviar os que foram aprovados, permitindo assim eles se propaguem pelo mundo. Artigos aprovados por um moderador precisam ter na linha de cabeçalho: Aprovado. Moderadores garantem que as mensagens que os leitores vêem no grupo de notícias estão em conformidade com as regras do grupo de notícias, embora eles não são obrigados a seguir tais regras ou orientações. Normalmente, os moderadores são designados na proposta para o newsgroup, e as mudanças de moderadores seguem um plano de sucessão.

Existia uma hierarquia mod.* antes da Usenet ser reorganizada. Agora, os grupos de notícias moderados podem aparecer em qualquer hierarquia.

Newsgroups na hierarquia Big-8 são criados por propostas chamadas de Pedido de Discussão, ou RFD (Request for Discussion). O RFD é obrigado a ter as seguintes informações: nome do grupo de notícias, checkgroups, o estado de moderação (se o grupo deve ser moderado, então deve ser fornecido pelo menos um moderador com um endereço de correio eletrónico válido). Outras informações que são importantes, mas não exigidas incluem: uma licença, uma justificativa e uma política de moderação, se o grupo deve ser moderado. A discussão de uma nova proposta de newsgroup termina com os membros do Conselho de Administração do Big-8 que tomam a decisão, por voto, para aprovar ou desaprovar o novo grupo de notícias.

Newsgroups sem moderação formam a maioria dos grupos de notícias da Usenet, onde as mensagens enviadas são imediatamente propagadas para todo mundo ver. A filtragem mínima de conteúdo X a propagação de forma rápida são um ponto crucial da comunidade Usenet. Uma pequena defesa contra a propagação é o cancelamento de uma mensagem propagada, mas poucos usuários da Usenet usam este comando e alguns leitores não oferecem comandos de cancelamento, em parte por causa da rápida expiração do artigo armazenado. A criação de grupos de notícias moderados, muitas vezes torna-se um assunto controverso, levantando questões sobre a censura e o desejo de um subconjunto de usuários.

Detalhes técnicos

A Usenet é um conjunto de protocolos para a geração, o armazenamento e a recuperação de notícias, "artigos" (que se assemelham a mensagens de e-mail) para sua posterior troca entre um público que está, potencialmente, amplamente distribuído. Esses protocolos usam mais comumente um algoritmo que propaga cópias para todos os servidores de uma rede. Sempre que uma mensagem chega a um servidor, esse servidor envia a mensagem para todos os servidores na rede que ainda não possuem o artigo. Apenas uma cópia de uma mensagem é armazenada por servidor, e cada servidor torna disponível sob demanda para os leitores (geralmente locais). O conjunto de servidores Usenet, portanto, tem um caráter de uma conexão peer-to-peer em que eles compartilham recursos, trocando-os, a granularidade de troca, porém, é em uma escala diferente de um moderno sistema de peer-to-peer e essa característica exclui os usuários reais do sistema que se conectam aos servidores de notícias com uma típica aplicação cliente-servidor, como um leitor de correio eletrónico.

A RFC 850 foi a primeira especificação formal das mensagens trocadas pelos servidores da Usenet. Ela foi substituída pela RFC 1036 e, posteriormente, pela RFC 5536 e RFC 5537.

Nos casos em que conteúdo inadequado foi publicado, Usenet tem suporte para remoção automática de uma postagem de toda a rede, criando uma mensagem de cancelamento, embora, devido à falta de autenticação e abuso, esta capacidade é frequentemente desativada. Detentores de direitos autorais ainda podem solicitar a eliminação manual do material ilícito com base nas disposições da Organização Mundial da Propriedade Intelectual.

Na Internet, a Usenet é transportada através do protocolo NNTP (Network News Transfer Protocol) na porta TCP 119 por padrão, para conexões não protegidas e na porta TCP 563 para conexões criptografadas (SSL).

Organização

O principal conjunto de newsgroups em todo o mundo está contido em nove hierarquias, das quais oito são operados sob as diretrizes consensuais que regem a sua administração e nomeação.

As oito são:

• comp.* – discussões relacionadas com computador. (comp.software, comp.sys.amiga)
• humanities.* – artes plásticas, literatura e filosofia (humanities.classics, humanities.design.misc)
• misc.* – temas diversos (misc.education, misc.forsale, misc.kids)
• news.* – discussões e anúncios sobre news (sobre a Usenet, e não eventos atuais) (news.groups, news.admin)
• rec.* – recreação e entretenimento (rec.music, rec.arts.movies)
• sci.* – discussões relacionadas com a ciência (sci.psychology, sci.research)
• soc.* – discussões sociais (soc.college.org, soc.culture.african)
• talk.* – falar sobre vários temas controversos (talk.religion, talk.politics, talk.origins)

A hierarquia alt.* não está sujeita aos procedimentos de controle da Big Eight, como resultado é menos organizada.

Grupos na hierarquia alt.* tendem a ser mais especializados ou específicos, por exemplo, pode haver um grupo de notícias sob a Big Eight que contém discussões sobre livros infantis, mas um grupo na hierarquia alt.* pode ser dedicado a um autor específico de livros para crianças. Arquivos binários são postados em alt.binaries.*, tornando-a a maior de todas as hierarquias.

Muitas outras hierarquias de grupos de notícias são distribuídas juntamente com estas. Hierarquias específicas de idiomas e regiões, tais como japan.*, malta.* e ne.* servem para países e regiões específicas, como o Japão, Malta e Nova Inglaterra. Empresas administram suas próprias hierarquias para discutir os seus produtos e oferecer suporte técnico comunitário, como o histórico gnu.* da Free Software Foundation. A Microsoft fechou seu servidor de notícias em junho de 2010, provendo suporte aos seus produtos por meio de fóruns. Alguns usuários preferem usar o termo "Usenet" para se referir apenas aos oito grandes hierarquias, outros incluem alt.* também. O termo mais geral "netnews" incorpora o meio inteiro, incluindo sistemas privados de notícias. Também existem convenções informais de sub-hierarquias.

Conteúdo binário

A Usenet foi criada originalmente para distribuir texto codificado no conjunto ASCII de 7 bits. Com a ajuda de programas que codificavam valores de 8 bits em ASCI, se tornou possível distribuir arquivos binários. Post binários, devido ao seu tamanho e aos direitos autorais, que muitas vezes eram duvidosos, estavam restritos a grupos de notícias específicos, tornando mais fácil para os administradores permitir ou não o tráfego.

O mais antigo método de codificação utilizado para conteúdo binário é uuencode, do pacote Unix UUCP. No final de 1980, os artigos Usenet foram muitas vezes limitados a 60.000 caracteres e limites rígidos maiores existem hoje. Os arquivos são, portanto, dividido em seções que requerem o reagrupamento pelo leitor.

Com as extensões de cabeçalho, Base64 e codificações quoted-printable MIME, houve uma nova geração de transferência binária. Na prática, MIME vem sofrendo um aumento de sua adoção em mensagens de texto, mas é evitado para a maioria dos anexos binários. Alguns sistemas operacionais com metadados anexados a arquivos usam formatos de codificação especializados. Para o sistema operacional Mac, tanto Binhex e tipos especiais de MIME são usados. Outros sistemas de codificação menos conhecidos que podem ter sido usados em um momento foram BTOA, codificação XX, BOO, e codificação USR.

Em uma tentativa de reduzir o tempo de transferência de arquivos, uma codificação de arquivo informal conhecido como yEnc foi introduzido em 2001. Ela atinge uma redução de cerca de 30% nos dados transferidos ao assumir que a maior parte dos caracteres de 8 bits pode seguramente ser transferidos através da rede sem codifica-lo primeiro para ASCII de 7 bits.

O método mais comum de enviar grandes mensagens binárias para a Usenet é converter os arquivos para arquivos RAR e criar arquivos de paridade para eles. Arquivos de paridade são usados para recriar dados em falta quando nem todas as partes dos arquivos chegam a um servidor.

Tempo de retenção binária

A cada newsgroup é geralmente atribuída certa quantidade de espaço de armazenamento para conteúdos postados. Quando esse armazenamento for preenchido, cada vez que uma nova mensagem chegar, mensagens antigas serão apagadas para criar espaço para o novo conteúdo. Se a largura de banda disponível para um servidor é alta, mas o armazenamento é pequeno, é possível que a entrada de uma enorme quantidade de conteúdo novo possa apagar tudo que estava no grupo antes. Se a quantidade for grande o suficiente, o início do conteúdo novo sera eliminado antes mesmo da última parte ser postada.

Newsgroups binários só são capazes de funcionar de forma viável se existir armazenamento suficiente para permitir que os leitores tenham tempo suficiente para baixar todas as partes de uma postagem binária antes dela ser apagada para liberar espaço para outra postagem. Havia um tempo em que quando o conteúdo de uma postagem era indesejado, o newsgroup era inundado com posts aleatórios em quantidade suficiente para apagar o conteúdo. Mas isto foi compensado pelas prestadoras de serviços que passaram a possuir armazenamento suficiente para manter tudo que era postado todos os dias, incluindo as inundações de spam, sem apagar nada.

A duração média em que as mensagens são capazes de permanecer no grupo antes de serem excluídas é comumente chamada de tempo de retenção. Geralmente os maiores servidores de Usenet têm capacidade suficiente para arquivar vários anos de conteúdo binário, mesmo quando inundado com novos dados na velocidade máxima diária disponível. Um bom prestador de serviços binários não só deve acomodar os usuários de conexões rápidas (3 megabits), mas também os usuários de conexões lentas (256 kilobits ou menos) que necessitam de mais tempo para fazer o download de conteúdo ao longo de um período de vários dias ou semanas.

O maior provedor de News tem um tempo de retenção maior que 4 anos. Isso resulta em mais de 9 petabytes (9000 terabytes) de armazenamento.

Em parte por causa dos longos tempos de retenção, bem como as crescentes velocidades de upload da Internet, a Usenet é também utilizada por usuários individuais para armazenar os dados de backup em uma prática chamada de backup Usenet, ou uBackup. Enquanto provedores comerciais oferecem formas mais fáceis de usar serviços de backup online, armazenamento de dados na Usenet é gratuita (embora o acesso à própria Usenet possa não ser). O método requer que o usuário selecione manualmente, prepare e envie os arquivos. Como qualquer um pode, potencialmente, fazer o download dos arquivos de backup, os dados são normalmente codificados. Depois que os arquivos são carregados, o usuário não tem qualquer controle sobre eles, os arquivos são copiados automaticamente para todos os provedores de Usenet, por isso haverá várias cópias dele espalhados por diferentes localizações geográficas, o que é desejável em um esquema de backup.

Problemas legais

Enquanto newsgroups binários podem ser usados para distribuir trabalhos completamente legais criados pelo usuário, software de código aberto, e material de domínio público, alguns grupos binários são usados para distribuir ilegalmente software comercial, mídia protegida por direitos autorais, e material obsceno.

Operadores de servidores Usenet frequentemente bloqueiam o acesso a todos os grupos alt.binaries.* para reduzir o tráfego de rede e para evitar problemas legais. Prestadores de serviços comerciais de Usenet afirmam operar como um serviço de telecomunicações, e que eles não são responsáveis pelo conteúdo postado pelo usuário e transferido através do seu equipamento. Nos Estados Unidos, os provedores de Usenet podem beneficiar-se da proteção nos termos da regulamentação DMCA, desde que estabeleçam um mecanismo para cumprir e responder aos pedidos dos detentores de direitos autorais.

A remoção do conteúdo protegido de toda a rede Usenet é uma tarefa quase impossível, devido à rápida propagação entre servidores e a retenção feita por cada servidor. Petições a um provedor de Usenet para a remoção apenas remove o conteúdo do cache do servidor, mas não de quaisquer outros. É possível por meio de uma mensagem especial de cancelamento remover o conteúdo de todos os servidores, mas muitos provedores ignoram ou cancelam a mensagem, porque elas podem ser facilmente falsificadas e enviadas por qualquer pessoa. Para que um pedido de remoção seja mais eficaz em toda a rede, ele teria de ser emitido para o servidor de origem em que o conteúdo foi publicado, antes de ter sido propagado para outros servidores. A remoção do conteúdo nesta fase inicial evitaria a propagação, mas com as modernas conexões de alta velocidade o conteúdo pode ser propagado tão rápido quanto chega, não permitindo tempo para revisar o conteúdo e verificar o pedido de remoção pelos detentores de direitos autorais.

Estabelecer a identidade da pessoa que postou o conteúdo ilegal é igualmente difícil devido ao desenho da rede. Como em servidores de SMTP, os servidores da Usenet geralmente assumem as informações do cabeçalho de origem em um post como sendo verdadeiras e precisas. No entanto, como no SMTP, os cabeçalhos Usenet são facilmente falsificados, a fim de ocultar a verdadeira identidade e localização da fonte da mensagem. Desta forma, a Usenet é significativamente diferente de serviços de P2P modernos, a maioria dos usuários de P2P que distribuem conteúdo normalmente são imediatamente identificáveis a todos os outros usuários de seu endereço de rede, mas a informação de origem para uma postagem Usenet pode ser completamente obscurecida e inalcançável, uma vez propagada.

Também ao contrário de serviços de P2P modernos, a identidade dos usuários está escondida. Em serviços de P2P um usuário é identificável a todos os outros por seu endereço de rede. Na Usenet, o usuário conecta-se diretamente a um servidor, e apenas o servidor conhece o endereço de quem está ligado nele. Alguns provedores de Usenet não mantêm logs de uso, mas nem todos fazem isso registrado informação casualmente à disposição das partes externas. A existência de serviços que ocultam a identidade de utilizadores da Usenet também complica o traçado de uma verdadeira origem para as publicações.

História

Os primeiros experimentos com newsgroups ocorreram em 1979. Tom Truscott e Jim Ellis, da Universidade de Duke, começaram com uma ideia de substituir um programa de informações locais, e acabaram estabelecendo uma hiperligação com a Universidade da Carolina do Norte usando scripts em shell escritos por Steve Bellovin. O lançamento público das notícias foi feito na forma de software compilado tradicionalmente, escrito por Steve Daniel e Truscott. Em 1980, a Usenet foi conectada à ARPANET através da Universidade da Califórnia, em Berkeley, que tinha conexões com ambos, Usenet e ARPANET. Michael Horton, o estudante de pós-graduação que configurou a conexão, começou a "alimentar as listas de discussão da ARPANET na Usenet" com o identificador "fa". Como resultado, o número de pessoas na Usenet aumentou dramaticamente, no entanto, ainda iria levar um pouco mais de tempo para os usuários da Usenet poderem contribuir para a ARPANET. Após 32 anos, a hiperligação de notícias da Usenet da Universidade da Carolina do Norte em Chapel Hill (news.unc.edu) foi finalmente retirado do ar no dia 4 de fevereiro de 2011.

Network

Redes UUCP se espalharam rapidamente, devido aos baixos custos envolvidos, bem como a capacidade de usar linhas alugadas existentes, links X.25 ou até mesmo conexões ARPANET. Em 1983, o número de hosts UUCP tinha crescido para 550, e em 1984 já era quase o dobro, 940.

À medida que a malha de hosts UUCP se expandiu rapidamente, tornou-se desejável distinguir o subconjunto Usenet da internet. Uma votação foi realizada na conferência USENIX 1982 para escolher um novo nome. O nome Usenet foi mantido, mas estabeleceu-se que ele só se aplica a notícias. O nome UUCPNET tornou-se o nome comum para a rede global.

Além de UUCP, o tráfego Usenet primitivo também foi trocado com a Fidonet e outras redes BBS dial-up. O uso generalizado de Usenet pela comunidade BBS foi facilitada pela introdução de feeds UUCP possível pela implementações do MS-DOS para UUCP, como UFGATE (UUCP para FidoNet Gateway) FSUUCP e UUPC. Em 1986, a RFC 977 providenciou o Network News Transfer Protocol (NNTP) especificação para distribuição de artigos Usenet sobre TCP/IP como uma alternativa mais flexível para as transferências informais de Internet de tráfego UUCP. Desde o boom da Internet da década de 1990, quase toda a distribuição Usenet acabou sendo via NNTP.

Software

As primeiras versões da Usenet usaram o software de Duke, A News. Logo, na Universidade de Berkeley, Matt Glickman e Mark Horton produziram uma versão melhorada chamada B News. Com um formato de mensagem que oferecia compatibilidade com e-mail e melhor desempenho, tornou-se o software de servidor dominante. C News, desenvolvido por Geoff Collyer e Henry Spencer, da Universidade de Toronto, foi comparável ao B News em recursos, mas ofereceu processamento consideravelmente mais rápido. No início de 1990, InterNetNews criado por Rich Salz foi desenvolvido para aproveitar o fluxo de mensagens contínua possível graças NNTP contra o projeto store-and-forward em lote de UUCP.

Local público

A Usenet era a comunidade inicial da Internet e o lugar para muitos dos desenvolvimentos públicos mais importantes da Internet comercial. Era o lugar onde Tim Berners-Lee anunciou o lançamento da World Wide Web, onde Linus Torvalds anunciou o projeto Linux, e onde Marc Andreessen anunciou a criação do navegador Mosaic e com a introdução da tag de imagem, que revolucionou a World Wide Web por transformá-la em um meio gráfico.

Jargões da Internet e história

Muitos jargões em uso na Internet originaram-se ou foram popularizadas na Usenet. Da mesma forma, muitos conflitos que mais tarde se espalharam para o resto da Internet, tais como as dificuldades com spam, começaram na Usenet.

"Usenet is like a herd of performing elephants with diarrhea. Massive, difficult to redirect, awe-inspiring, entertaining, and a source of mind-boggling amounts of excrement when you least expect it."

— Gene Spafford, 1992

Declínio na taxa de crescimento

Sascha Segan do PC Magazine disse em 2008 "A Usenet está morrendo há anos." Segan disse que algumas pessoas apontavam para o Eterno Setembro em 1993 como o início do declínio da Usenet. Além disso, DejaNews e Google Groups fizeram com que as conversas pudessem ser pesquisadas, e Segan disse que isso retirou a obscuridade dos grupos na Usenet. Segan explicou que quando pornografia e softwares piratas começaram a serem colocados na Usenet no fim de 1990, o espaço em disco e tráfego aumentou na mesma proporção. Prestadores de serviços de Internet alocaram espaço para bibliotecas Usenet, e prestadores de serviços Internet questionaram por que eles precisavam espaço para hospedar pornografia e software pirata. Quando o Estado de Nova York abriu uma investigação sobre pornografia infantil que usava Usenet, muitos provedores cancelaram todo o acesso a hierarquia alt.*. Segan concluiu: "É difícil de desativar completamente algo tão descentralizado como a Usenet, contanto que dois servidores concordam em compartilhar o protocolo NNTP, ela vai continuar de alguma forma. Mas a Usenet, eu lamento, há muito desapareceu".

Em resposta, John Biggs do TechCrunch disse que "A Usenet está morta como Sascha diz? Eu não penso assim. Enquanto há pessoas que pensam que uma linha de comando é melhor do que um mouse, a rede social só de texto original vai viver." Biggs acrescentou que, embora muitos provedores de serviços de Internet cancelaram o acesso, "os verdadeiros profissionais sabem para onde ir para obter seu cheio de angústia, picuinhas, correção obsessiva". Em maio de 2010, a Universidade Duke, cuja implementação da Usenet se iniciou a mais de 30, descontinuou o seu servidor Usenet, citando baixo uso e aumento dos custos.

Alterações de tráfego

Com o tempo, a quantidade de tráfego da Usenet tem aumentado constantemente. A partir de 2010, o número de novas mensagens de texto feitas em todos os newsgroups era de em média 1.800 a cada hora, numa média de 25.000 por dia. No entanto, estas médias são minúsculas em comparação com o tráfego nos grupos binários. Grande parte desse aumento de tráfego reflete não um aumento de usuários ou discussões nos newsgroups, mas sim, uma combinação de uma enorme quantidade de spam automatizado e um aumento no uso dos newsgroups para postagem de arquivos binários, nos quais grandes arquivos são muitas vezes postados publicamente. Uma pequena amostra da mudança (medido em tamanho de alimentação por dia) a seguir:

Volume diário	Data	Fonte
4.5 GB	1996-12	Altopia.com
9 GB	1997-07	Altopia.com
12 GB	1998-01	Altopia.com
26 GB	1999-01	Altopia.com
82 GB	2000-01	Altopia.com
181 GB	2001-01	Altopia.com
257 GB	2002-01	Altopia.com
492 GB	2003-01	Altopia.com
969 GB	2004-01	Altopia.com
1.30 TB	2004-09-30	Octanews.net
1.38 TB	2004-12-31	Octanews.net
1.52 TB	2005-01	Altopia.com
1.34 TB	2005-01-01	Octanews.net
1.30 TB	2005-01-01	Newsreader.com
1.81 TB	2005-02-28	Octanews.net
1.87 TB	2005-03-08	Newsreader.com
2.00 TB	2005-03-11	Various sources
2.27 TB	2006-01	Altopia.com
2.95 TB	2007-01	Altopia.com
3.07 TB	2008-01	Altopia.com
3.80 TB	2008-04-16	Newsdemon.com
4.60 TB	2008-11-01	Giganews.com
4.65 TB	2009-01	Altopia.com
6.00 TB	2009-12	Newsdemon.com
5.42 TB	2010-01	Altopia.com
8.00 TB	2010-09	Newsdemon.com
7.52 TB	2011-01	Altopia.com
8.25 TB	2011-10	Thecubenet.com
9.29 TB	2012-01	Altopia.com
11.49 TB	2013-01	Altopia.com
14.61 TB	2014-01	Altopia.com
15.50 TB	2014-02	Newsdemon.com

Em 2008, a Verizon Communications, Time Warner Cable e Sprint Nextel assinaram um acordo com o procurador-geral de Nova York, Andrew Cuomo para encerrar o acesso a fontes de pornografia infantil. Time Warner Cable parou de oferecer acesso à Usenet. Verizon reduziu seu acesso às hierarquias Big 8. Sprint parou com o acesso à hierarquia alt.*. AT&T cancelou o acesso à hierarquia alt.binaries.*. Cuomo nunca mencionou especificamente a Usenet em sua campanha anti-pornografia infantil. David DeJean da PC World disse que alguns temem que os provedores utilizem a campanha de Cuomo como uma desculpa para acabar com o acesso de uma parcela dos clientes à Usenet, porque há um alto custo para os provedores de serviços de Internet e não há uma alta demanda por parte dos clientes. Em 2008, a AOL, que já não oferecia acesso à Usenet, e os quatro fornecedores que responderam à campanha de Cuomo foram os cinco maiores provedores de serviços de Internet nos Estados Unidos. Em 8 de junho de 2009, a AT&T anunciou que deixaria de fornecer acesso à Usenet a partir de 15 de julho de 2009.

A AOL anunciou que iria descontinuar seu serviço Usenet no início de 2005, citando a crescente popularidade dos blogs, fóruns de discussão e conferências on-line. A comunidade AOL teve um papel enorme na popularização Usenet cerca de 11 anos antes.

Em agosto de 2009, a Verizon anunciou que iria descontinuar o acesso à Usenet em 30 de setembro de 2009. JANET (UK) anunciou que iria descontinuar o serviço Usenet, a partir de 31 julho de 2010, citando o Google Groups como uma alternativa. A Microsoft anunciou que iria descontinuar o suporte para os seus newsgroups públicos ( msnews.microsoft.com ) a partir de 1 de Junho de 2010, oferecendo fóruns na web como uma alternativa.

As principais razões citadas por ISPs para a interrupção do serviço Usenet incluem a diminuição do volume de leitores, devido à concorrência de blogs, juntamente com as preocupações com o custo e responsabilidade devido ao aumento do compartilhamento de arquivos e do spam em grupos não utilizados ou descontinuados.

Alguns ISPs não incluem a pressão do procurador-geral, Andrew Cuomo, da campanha agressiva de Nova York contra a pornografia infantil como uma das suas razões para deixar de fornecer a Usenet como parte de seus serviços.

Arquivamento

Arquivamentos públicos de artigos da Usenet existem desde os primórdios da Usenet, como o sistema criado por Kenneth Almquist no final de 1982. O arquivamento distribuído de mensagens da Usenet foi sugerido em novembro de 1982 por Scott Orshan, que propôs que "Todo site deve manter todos os artigos postados, para sempre." Também em novembro do mesmo ano, Rick Adams respondeu a um post perguntando: "Alguém tem netnews arquivadas, ou alguém pretende fazer?", afirmando que, "estou com medo de admitir isso, mas eu comecei a arquivar a maioria dos newsgroups úteis em 18 de setembro." Em junho de 1982, Gregory G. Woodbury propôs um "acesso automático aos arquivos" sistema que consistia em "respostas automáticas de mensagens de formato fixo para um destinatário de e-mail especial em máquinas específicas."

Em 1985, dois sistemas de arquivamento de news e um RFC foram postados na Internet. O primeiro sistema, chamado Keepnews, de Mark M. Swenson, da Universidade do Arizona, foi descrito como "um programa que tenta fornecer uma maneira sã de extrair e manter a informação que vem da Usenet." A principal vantagem deste sistema é permitir que os usuários marquem artigos como válidas para reter. O segundo sistema, YA Notícias Archiver, de Chuq Von Rospach, foi semelhante ao Keepnews, mas foi "projetado para trabalhar com arquivos muito grandes, onde o recurso de tempo de busca quadrática maravilhosa do Unix... torna-se um problema real." Von Rospach no início de 1985 publicou um RFC detalhado para "arquivamento e acesso a artigos da Usenet com pesquisa de palavras-chave." Esta RFC descreve um programa que poderia "gerar e manter um arquivo de artigos da Usenet e permitir que artigos fossem olhados com base na sua id, linhas de assunto, ou palavras-chave do próprio artigo." Também estava incluído código C para a estrutura do sistema de dados interno.

O desejo de ter um índice de pesquisa de texto completo de artigos de news arquivadas não é novo, há um pedido feito em abril de 1991 por Alex Martelli que procurou "construir uma espécie de índice de palavras-chave para [o arquivo de news]. "No início de maio, o Sr. Martelli postou um resumo de suas respostas, observando que o "prêmio de sugestão mais popular, deve definitivamente ir para o pacote "lq- texto", de Liam Quin, recentemente postado em alt.sources." Hoje, o arquivamento da Usenet levou a um medo da perda de privacidade. Isto foi parcialmente contrariado com a introdução do X-No-Archive.

Arquivamento por Google Groups e DejaNews

Veja o artigo principal: Google Groups

Arquivamento com base na Web de mensagens Usenet começou em 1995 com a DejaNews. Com um banco de dados muito grande, pesquisável. Em 2001, este banco de dados foi adquirido pelo Google.

O Google Groups hospeda um arquivo de mensagens Usenet datada de Maio de 1981. As primeiras mensagens, que datam de maio de 1981 a junho de 1991, foram doadas para o Google pela Universidade de Western Ontario, com a ajuda de David Wiseman e outros, e foram originalmente arquivadas por Henry Spencer, do departamento de Zoologia da Universidade de Toronto. Os arquivos do final de 1991 até o início de 1995, foram fornecidos pelo Kent Landfield da série CD NetNews e Jürgen Christoffel de GMD. O arquivo de mensagens de março de 1995 em diante foi iniciada pela empresa DejaNews (mais tarde Deja), que foi comprada pelo Google em fevereiro de 2001. O Google começou a arquivar mensagens Usenet para si, começando na segunda semana de agosto de 2000.

Ver também

• Personalidades notáveis da Usenet

Referências

Leitura complementar

• Bruce Jones, archiver (1997). USENET History mailing list archive covering 1990–1997. communication.ucsd.edu
• Michael Hauben, Ronda Hauben, and Thomas Truscott (27 de abril de 1997). Netizens: On the History and Impact of Usenet and the Internet (Perspectives). [S.l.]: Wiley-IEEE Computer Society P. ISBN 0-8186-7706-6  !CS1 manut: Nomes múltiplos: lista de autores (link)
• Bryan Pfaffenberger (31 de dezembro de 1994). The USENET Book: Finding, Using, and Surviving Newsgroups on the Internet. [S.l.]: Addison Wesley. ISBN 0-201-40978-X 
• John Herrman, archiver (2009). HOW TO kick your torrent addiction with USENET GIZMODO USA, Aug 2009

Ligações externas

• Usenet II, projeto que visa construir uma nova Usenet.
• Google Groups, explore os newsgroups da Usenet pela web.
• Replayer, explore os newsgroups da Usenet binário pela web.
• Lista de servidores NNTP de acesso público
• Usenext
• Excelente e ilustrado guia, em português, feito pelo site Gizmodo, O que é e como usar a Usenet, "livre-se do seu vício em torrent usando a usenet".
• Em inglês, guia completo, The How-To Geek Guide to Getting Started with Usenet.
• Sabnzdb, Em inglês, bons add-ons para o programa sabnzdb e aplicativos para controlá-lo através de celulares.
• Sick-beard, Em inglês, como fazer download automáticos de séries pela usenet.
• Wiki do programa Sabnzdb, Em inglês