LightGBM, abreviação de Light Gradient-Boosting Machine, é um framework de gradient boosting distribuído, gratuito e de código aberto para aprendizado de máquina, originalmente desenvolvido pela Microsoft. Ele é baseado em algoritmos de árvore de decisão e é utilizado para tarefas de ranqueamento, classificação e outras tarefas de aprendizado de máquina. O framework é projetado para alto desempenho e escalabilidade, tornando-o uma escolha popular tanto em pesquisa acadêmica quanto em aplicações industriais.
O LightGBM suporta uma variedade de algoritmos, incluindo Gradient Boosting Tree (GBT), Gradient Boosting Decision Tree (GBDT), Gradient Boosting Regression Tree (GBRT), Gradient Boosting Machine (GBM), Multiple Additive Regression Trees (MART) e Random Forest (RF). Ele incorpora muitas vantagens do XGBoost, como otimização esparsa, treinamento paralelo, múltiplas funções de perda, regularização, bagging e parada antecipada. No entanto, uma diferença fundamental reside na construção das árvores: o LightGBM cresce as árvores de forma folha-sábia (leaf-wise) em vez de nível-sábia (level-wise), selecionando a folha com a perda delta máxima para expandir. Essa abordagem pode levar a uma convergência mais rápida, mas requer ajuste cuidadoso para evitar overfitting.
Outra característica distintiva é o uso de um algoritmo de aprendizado de árvore de decisão altamente otimizado baseado em histogramas, em vez da abordagem baseada em ordenação usada pelo XGBoost e outras implementações. Esse método baseado em histogramas melhora significativamente tanto a eficiência do treinamento quanto o consumo de memória. Além disso, o LightGBM introduz duas técnicas inovadoras: Gradient-Based One-Side Sampling (GOSS) e Exclusive Feature Bundling (EFB), que juntas permitem um treinamento mais rápido, mantendo alta precisão.
O LightGBM roda em Linux, Windows e macOS, e fornece suporte para treinamento distribuído. Ele é amplamente utilizado em aplicações como previsão de taxa de cliques, ranqueamento e outras tarefas onde o volume de dados é grande. O framework se integra perfeitamente com bibliotecas populares de aprendizado de máquina, como scikit-learn, e sua interface Python é particularmente popular. O LightGBM também oferece suporte nativo para características categóricas, simplificando o pré-processamento. Sua compatibilidade com C++, R e C# estende seu alcance a diversos ambientes de desenvolvimento.
O LightGBM é frequentemente comparado com XGBoost e CatBoost, outros dois frameworks proeminentes de gradient boosting. Enquanto o XGBoost usa crescimento de árvore nível-sábio e busca de divisão baseada em ordenação, a abordagem folha-sábia e baseada em histogramas do LightGBM tipicamente resulta em tempos de treinamento mais rápidos e menor uso de memória. No entanto, o crescimento folha-sábio pode levar a overfitting se não for devidamente regularizado. O CatBoost, por outro lado, se destaca no tratamento de características categóricas e frequentemente alcança alta precisão com parâmetros padrão. A escolha entre esses frameworks depende do conjunto de dados específico e dos requisitos; o LightGBM é frequentemente preferido por sua velocidade e eficiência em conjuntos de dados grandes e esparsos.
O LightGBM foi aplicado em diversos domínios, incluindo ranqueamento de busca, sistemas de recomendação, detecção de fraudes e diagnósticos médicos. Sua capacidade de lidar com dados esparsos de alta dimensionalidade o torna particularmente eficaz para previsão de taxa de cliques em publicidade online. Além disso, o LightGBM é usado em competições em plataformas como Kaggle, onde seu desempenho e velocidade o tornaram um favorito entre os praticantes.
O LightGBM foi introduzido pela primeira vez em 2017 por uma equipe da Microsoft Research, liderada por Guolin Ke e outros. O projeto é mantido ativamente no GitHub, com contribuições de uma comunidade global de desenvolvedores. A documentação do framework é abrangente, e sua natureza de código aberto incentiva a melhoria contínua. O LightGBM foi citado em inúmeros artigos acadêmicos e é uma ferramenta padrão no kit de ferramentas do profissional de aprendizado de máquina.
Ver Também
- aprendizado de máquina
- inteligência artificial
- aprendizado profundo
- rede neural
- modelo de linguagem de grande porte
- transformador
- OpenAI
- Anthropic
- Google DeepMind
- IA generativa
- AMD
- Apple
- Samsung Electronics
- Intel
- TSMC
- Broadcom
- Qualcomm
- Arm Holdings
- Amazon Web Services
- AWS Trainium
- Microsoft Azure
- Google Cloud
- Oracle Cloud Infrastructure
- Coreweave
- Cerebras
- Groq
- SambaNova
- Graphcore
- Nokia Bell Labs
- OpenPanel
- Bhabha Atomic Research Centre
- Samsung Research
- Xerox PARC
- MIT CSAIL
- Stanford AI Lab
- University of Toronto
- Carnegie Mellon University
- BAIR (Berkeley AI Research)
- University of Oxford
- Chess computer
- Sony AI
- Fujitsu
- NEC
- D-Wave
- Alibaba DAMO Academy
- Alibaba Cloud
- Amazon AI
- Halcyon AI
- Insta AI
- Omniscient
- Commure
- Intuitive Surgical
- TomTom
- BigBear.ai
- AI21 Labs
- Inflection AI
- Essential AI
- Sanctuary AI
- Figure AI
- Fermata
- Neuralink
- Braina
- Cortica
- XyloCyber
- Cruise
- Waymo
- Tesla
- Llion Jones
- Jakob Uszkoreit
- Lukasz Kaiser
- Niki Parmar
- Barret Zoph
- Mark Chen
- Brad Lightcap
- Jacob Steinhardt
- David Kaplan
- ryan lowe
- Jack Clark
- Shan Carter
- David Luan
- Chen Wu
- Ashish Kumar
- Freddie Sulit
- Karen Simonyan
- Koray Kavukcuoglu
- Thomas G. Dietterich
- Michael I. Jordan
- Daphne Koller
- Anima Anandkumar
- Samy Bengio
- Joshua Tenenbaum
- Brendan Lake
- Melanie Mitchell
- Aaron Courville
- Alan Perlis
- Aleksander Madry
- Alexei Efros
- Ali Rahimi
- Andrew Lloyd Brown
- Ani Bhattacharya
- Anna Patterson
- Anna Ritter
- Anubhav Sinha
- Arakawa Ryota
- Arka Dutta
- arthur franz
- Ben Goertzel
- Bernard Widrow
- brian cheung
- Brian Christian
- Brian Lilly White
- Rafael Calvo
- Carlos Guestrin
- Catherine Flick
- chad mirkin
- chin yen chiu
- Chris Bishop
- Christopher Bishop
- Craig Boutilier
- craig ku
- Daphna Shron
- Daphne Leon
- David Ha
- david froitzheim
- David Martin
- David Winger
- Deepak Kumar
- drew puckett
- Elaine Rich
- Eilon Reshef