LeNet e AlexNet: As Primeiras Vitórias

Muito antes dos gigantes atuais, duas redes pequenas provaram que convoluções aprendidas podiam interpretar imagens. Vamos conhecer as pioneiras.

Em 1998, Yann LeCun criou a LeNet-5 para reconhecer dígitos escritos à mão em cheques. Ela era pequena, mas funcionava muito bem.

O padrão da LeNets era claro: alternar camadas de convolução e subamostragem e, depois, terminar com algumas camadas densas. Essa receita ainda se reflete nos dias atuais.

A grande ideia era que a LeNet aprendesse seus filtros a partir dos dados por retropropagação, em vez de um engenheiro programar detectores de bordas manualmente.

Os dados e o poder computacional eram escassos, então o progresso estagnou por anos. O mundo ainda não estava pronto para ampliar essa ideia.

Em 2012, a AlexNet arrasou na competição ImageNet, reduziu pela metade a taxa de erros e iniciou o grande avanço moderno da aprendizagem profunda.

A AlexNet era uma LeNet ampliada: mais camadas, muito mais filtros e milhões de parâmetros ávidos por dados.

A AlexNet trocou ativações saturantes lentas pela ReLU rápida e simples, permitindo que uma rede profunda fosse treinada em um tempo razoável.

Ela funcionava em duas GPUs em paralelo. Essa escolha de hardware transformou uma ideia antiga em um sistema prático e vencedor.

Para impedir a memorização, a AlexNet adicionou dropout às suas camadas densas, silenciando neurônios aleatoriamente durante o treinamento.

As duas redes são pilhas de um único bloco central. Aqui está uma única camada Conv2d, o bloco básico a partir do qual tudo é construído.

A LeNet mostrou que as CNNs podiam aprender, e a AlexNet provou que elas podiam vencer em grande escala. Juntas, elas deram início à era que você está estudando. Ótimo começo!