Alex Krizhevsky é um cientista da computação canadense mais conhecido por seu trabalho em redes neurais artificiais e aprendizado profundo. Em 2012, Krizhevsky, Ilya Sutskever e seu orientador de doutorado Geoffrey Hinton, na Universidade de Toronto, desenvolveram uma poderosa rede de reconhecimento visual chamada AlexNet usando apenas duas placas de vídeo da marca GeForce. Isso revolucionou a pesquisa em redes neurais, pois anteriormente as redes neurais eram treinadas em CPUs. A transição para GPUs abriu caminho para o desenvolvimento de modelos avançados de IA.
Krizhevsky também é o principal autor dos conjuntos de dados CIFAR-10 e CIFAR-100, amplamente utilizados como referências em aprendizado de máquina e visão computacional. Seus numerosos artigos sobre esses tópicos são frequentemente citados por outros pesquisadores.
Desenvolvimento da AlexNet
Motivado por Sutskever e inspirado por Hinton, Krizhevsky desenvolveu a AlexNet para expandir os limites no reconhecimento e classificação de imagens. Baseando-se em redes neurais convolucionais e na abordagem de rede neural profunda de Sutskever, que aprofundava as camadas neurais muito além da convenção da época - além de adicionar Dropout para resiliência no treinamento - a AlexNet venceu o desafio ImageNet em 2012. A equipe apresentou seu artigo sobre a AlexNet no NeurIPS (NIPS) 2012.
A arquitetura da rede incorporou várias inovações que se tornaram padrão em modelos posteriores de aprendizado profundo. Ela usou unidades lineares retificadas (ReLUs) para treinamento mais rápido, pooling sobreposto para reduzir o overfitting e técnicas de aumento de dados para aumentar o tamanho efetivo do conjunto de treinamento. O uso de duas GPUs permitiu que o modelo fosse treinado em uma escala que antes era impraticável apenas com CPUs.
Transição para a Indústria
Pouco após a estreia da AlexNet, Krizhevsky e Sutskever venderam sua startup, DNN Research Inc., para o Google. No Google, Krizhevsky continuou trabalhando em aplicações de aprendizado profundo, contribuindo para projetos que mais tarde influenciariam o desenvolvimento de sistemas de IA em larga escala. Ele deixou o Google em setembro de 2017 após perder o interesse no trabalho, para atuar na empresa Dessa em apoio a novas técnicas de aprendizado profundo.
Sua mudança para a indústria refletiu uma tendência mais ampla em meados da década de 2010, à medida que pesquisadores acadêmicos em aprendizado profundo se juntavam cada vez mais a empresas de tecnologia para aplicar suas descobertas a produtos do mundo real. Esse período viu uma rápida comercialização da pesquisa em redes neurais, com aplicações que iam desde reconhecimento de imagens até processamento de linguagem natural.
Legado e Impacto
A AlexNet é amplamente creditada por dar início à revolução do aprendizado profundo. Seu sucesso demonstrou a eficácia de redes neurais profundas treinadas em GPUs, levando a um progresso rápido em múltiplos domínios da inteligência artificial além da visão computacional. As técnicas e o impulso gerados pela AlexNet ajudaram a moldar o desenvolvimento de modelos modernos de processamento de linguagem natural, incluindo modelos baseados em transformadores em larga escala, como BERT e GPT, que alimentam ferramentas como o ChatGPT.
A mudança para o treinamento baseado em GPU, pioneira da AlexNet, tornou-se uma prática fundamental no campo. Avanços subsequentes, como normalização em lote e redes residuais, construíram diretamente sobre a base estabelecida por Krizhevsky e seus colegas. Os conjuntos de dados CIFAR que ele criou permanecem como referências padrão para avaliar novos algoritmos em classificação de imagens.
Contribuições de Pesquisa
Além da AlexNet, o trabalho de Krizhevsky sobre aumento de dados e inicialização de pesos influenciou como as redes neurais são treinadas. Seus artigos sobre esses tópicos estão entre os mais citados no campo, fornecendo orientação prática para pesquisadores e profissionais. Os conjuntos de dados CIFAR-10 e CIFAR-100, que ele criou, consistem em imagens rotuladas em múltiplas categorias e são usados para testar o desempenho de modelos de classificação.
A abordagem de Krizhevsky, combinando pragmatismo de engenharia com percepção teórica, ajudou a preencher a lacuna entre a pesquisa acadêmica e a implementação prática. Suas contribuições continuam a ser referenciadas na literatura moderna de aprendizado de máquina, e seu trabalho na Universidade de Toronto permanece um marco na história do desenvolvimento da IA.