HKChat ist ein Large Language Model (LLM), das von einer kollaborativen Forschungsinitiative mit Sitz in Hongkong entwickelt wurde. Es wurde 2024 veröffentlicht und sollte die Unterrepräsentation von Kantonesisch und Hongkong-Englisch in gängigen generativen KI-Systemen beheben. Das Modell basiert auf einer Transformer-Architektur und nutzt Deep-Learning-Techniken, um Text mit Fokus auf regionale sprachliche Nuancen zu verarbeiten und zu erzeugen, einschließlich umgangssprachlicher Ausdrücke und Code-Mixing-Muster, die in Hongkong üblich sind.
HKChat wurde mit einem kuratierten Datensatz von etwa 120 Milliarden Token trainiert, der öffentliche Web-Korpora, kantonesischsprachige Foren, Untertitel und lokal bezogene Nachrichtenartikel kombiniert. Der Trainingsprozess verwendete einen zweistufigen Ansatz: anfängliches Pretraining auf einem vielfältigen mehrsprachigen Korpus, gefolgt von überwachtem Fine-Tuning auf aufgabenspezifischen Daten wie Dialog und Frage-Antwort. Das Modell hat 13 Milliarden Parameter und ist damit ein mittelgroßes LLM, das für den Einsatz auf bescheidener Hardware, einschließlich Consumer-GPUs, geeignet ist.
Entwicklung und Architektur
Die Entwicklung von HKChat begann Anfang 2023, geleitet von Forschern mehrerer Universitäten in Hongkong und unterstützt von lokalen Technologie-Inkubatoren. Das Projekt zielte darauf ab, eine Open-Source-Alternative zu größeren proprietären Modellen zu schaffen, die aufgrund begrenzter Trainingsdaten bei Kantonesisch oft schlecht abschneiden. Die Architektur folgt einem Standard-Decoder-only-Transformer mit Multi-Head-Attention und Positionskodierung. Zu den wichtigsten Designentscheidungen gehören eine Vokabulargröße von 50.000 Token, optimiert für chinesische Schriftzeichen und kantonesische phonetische Romanisierung, sowie ein Kontextfenster von 4.096 Token.
Für das Training wurde ein Cluster aus 64 NVIDIA-A100-GPUs genutzt, das durch eine Partnerschaft mit einem regionalen Cloud-Dienstanbieter bereitgestellt wurde. Das Team setzte Techniken wie Gradient-Clipping und Lernraten-Scheduling ein, um das Training zu stabilisieren, das etwa 45 Tage dauerte. Um Overfitting zu vermeiden, wandten sie Dropout- und Gewichtsinitialisierungsstrategien an und nutzten Daten-Augmentierung, um die begrenzten kantonesischen Textquellen zu erweitern.
Fähigkeiten und Benchmarks
HKChat zeigt eine starke Leistung bei mehreren Benchmarks, die auf seine Zielsprachen zugeschnitten sind. Beim CantoneseQA-Datensatz, einer Sammlung von 10.000 Fragen zu lokaler Kultur, Geschichte und Alltag, erreichte HKChat eine Genauigkeit von 78,4 % und übertraf vergleichbare Modelle wie eine mehrsprachige Baseline mit 7B-Parametern um 12 Punkte. Bei englischen Aufgaben erzielt es wettbewerbsfähige Ergebnisse bei Standard-Benchmarks wie MMLU (Massive Multitask Language Understanding) mit 62,1 %, was unter größeren Modellen liegt, aber für seine Größe respektabel ist.
Das Modell zeichnet sich durch Code-Mixed-Text aus, bei dem Kantonesisch und Englisch verschränkt sind, ein häufiges Phänomen in der Online-Kommunikation in Hongkong. In einer menschlichen Bewertung mit 50 Muttersprachlern wurde HKChat in 67 % der Testfälle als natürlicher und kontextuell angemessener bewertet als zwei führende kommerzielle Modelle. Allerdings hat es Schwierigkeiten mit formellem Schriftchinesisch und seltenem technischem Jargon, was seinen regionalen Fokus widerspiegelt.
Veröffentlichung und Zugänglichkeit
HKChat wurde im November 2024 unter einer Open-Source-Lizenz veröffentlicht, wobei Modellgewichte und Inferenzcode in einem öffentlichen Repository bereitgestellt wurden. Die Veröffentlichung umfasste eine leichte Version, HKChat-Lite, mit 2 Milliarden Parametern, die für mobile Geräte optimiert ist. Das Projekt veröffentlichte außerdem einen detaillierten technischen Bericht, der die Trainingsdatenquellen und die Evaluierungsmethodik dokumentiert, um die Reproduzierbarkeit zu fördern.
Seit seiner Veröffentlichung wurde HKChat über 50.000 Mal heruntergeladen und findet Anwendung bei lokalen Startups und akademischen Forschern. Es wurde in mehrere Bildungswerkzeuge für das Lernen der kantonesischen Sprache integriert und in vorläufigen Studien zur Sentimentanalyse von Social Media in Hongkong verwendet. Die Entwickler unterhalten ein aktives Community-Forum, in dem Nutzer zu Fine-Tuning-Datensätzen beitragen und Leistungsprobleme melden.
Einschränkungen und zukünftige Arbeiten
Trotz seiner Stärken hat HKChat bemerkenswerte Einschränkungen. Seine Trainingsdaten sind zwar umfangreich, aber kleiner als die führender globaler Modelle, was zu schwächerer Leistung bei allgemeinem Wissen und Denkaufgaben führt. Das Modell kann auch Verzerrungen aufweisen, die in seinen Quellkorpora vorhanden sind, insbesondere bei politischen Themen, was das Team anerkannt und versucht hat, durch Filter- und Alignment-Techniken abzumildern.
Zu den zukünftigen Plänen gehört die Erweiterung des Trainingsdatensatzes auf 300 Milliarden Token, wobei vielfältigere Quellen wie Podcasts und Regierungspublikationen einbezogen werden. Das Team erforscht außerdem Reinforcement Learning aus menschlichem Feedback (RLHF), um die Antwortqualität und Sicherheit zu verbessern. Ein Nachfolgemodell, das vorläufig für 2025 geplant ist, soll die Parameterzahl auf 30 Milliarden erhöhen und das Kontextfenster auf 8.192 Token erweitern, während der regionale Fokus, der HKChat ausmacht, beibehalten wird.
Verwandte Projekte
HKChat ist Teil einer breiteren Bewegung zur Entwicklung regionsspezifischer LLMs, ähnlich wie Bemühungen wie Alibaba-Damiao-Akademie für chinesische Dialekte und AI21 Labs für Hebräisch und Arabisch. Es teilt technische Grundlagen mit der Forschung zu Large Language Models und stützt sich auf Fortschritte bei Transformer-Architekturen und Deep Learning. Das Projekt arbeitet außerdem mit Forschern der Universität Toronto an cross-lingualem Transferlernen zusammen, um die Leistung bei ressourcenarmen Sprachen über Kantonesisch hinaus zu verbessern.