Huawei openPangu 2.0 en open source : MoE 505B, contexte 512K, analyse Ascend complète

Cinq idées reçues à dissiper avant tout choix d'architecture

Richard Yu a présenté openPangu 2.0 lors de la HDC 2026 (12 juin 2026, Dongguan Songshan Lake) ; la variante Flash est passée en open source le 30 juin. Beaucoup de discussions restent au niveau « un modèle chinois de plus » — alors que les points suivants conditionnent directement budget et feuille de route technique.

1. 01

   Open source = poids uniquement : l'usage courant s'arrête aux poids et à l'inférence. openPangu 2.0 prévoit aussi le code de pré-entraînement, de post-entraînement et les opérateurs Ascend — une ouverture intégrale rare à l'échelle MoE.

2. 02

   Sous-estimer l'entraînement sans NVIDIA : DeepSeek, Qwen, Kimi et Llama ont tous été entraînés sur NVIDIA. openPangu 2.0 a été entièrement formé sur Ascend 910B — premier modèle frontier de cette envergure hors écosystème NVIDIA.

3. 03

   Réduire le 512K à un argument marketing : DeepSeek V4 Pro reste fort en code et raisonnement, mais le contexte 512K constitue l'avantage différenciant d'openPangu — l'équivalent d'environ huit romans longs dans un seul prompt.

4. 04

   Confondre le calendrier Flash et Pro : Flash (92B/6B actifs) est disponible ; Pro (505B/18B actifs) est prévu en juillet 2026 ; le code pré/post-entraînement arrive au second semestre 2026.

5. 05

   Déployer le modèle sans hôte adapté : la pile Ascend repose sur torch_npu ; HarmonyOS embarque une variante Embedded. Si votre agent combine Xcode, Claude Code ou OpenClaw, la séparation modèle/outillage rejoint la logique du routage multi-modèles.

Architecture MoE, entraînement Ascend et écosystème développeur

Innovations architecturales

• mHC (Multi-Head Combinatorial) : routage d'experts plus efficace, moins de déséquilibre de charge MoE
• Optimiseur Muon : schéma de momentum de second ordre (Microsoft) pour la stabilité à grande échelle
• ModAttn (Modular Attention) : attention modulaire supportant 512K tokens
• DSA+SWA (Flash uniquement) : attention ultra-sparse ; 6B actifs mobilisent 92B de connaissances, coût proche d'un dense 6B

Matériel et performances d'entraînement

openPangu 2.0 est le premier grand modèle frontier entièrement formé hors hardware NVIDIA, exclusivement sur Ascend 910B NPU — sans A100 ni H100.

• Débit mono-carte : environ 2× les modèles open source courants sur Ascend
• Efficacité super-nœud : gain d'environ +30 %
• Entraînement séquences 512K : débit +50 %
• Cohérence entraînement/inférence : >99 %
• Latence d'inférence : environ 1,2× meilleure que les modèles comparables
• Embedded edge : modèle 30B embarqué, +50 % vitesse, −20 % mémoire, exécution offline sur Kirin
• Flash-Int8 : W4A8, −40 % mémoire, perte de précision <10 %

Pile logicielle et plateformes

• CANN (équivalent CUDA) + torch_npu ; import torch_npu bascule le backend
• Cloud : API Huawei Cloud ModelArts
• Open source : auto-hébergement via GitCode Ascend Tribe
• Edge : intégration native HarmonyOS ; moteur Agent HarmonyOS 7

Runbook en six étapes : API ModelArts et auto-hébergement GitCode

Besoins matériels

Six étapes de déploiement

1. 01

   Choisir le chemin : sans matériel → API ModelArts (Huawei Cloud → AI Gallery → openPangu 2.0 → abonnement Flash/Pro) ; avec cluster Ascend → GitCode.

2. 02

   Cloner les dépôts : gitcode.com/org/ascend-tribe — openPangu-2.0-Flash, openPangu-2.0-Infer, openPangu-2.0-Op.

3. 03

   CANN + torch_npu : installer pilotes Ascend et CANN ; ajouter import torch_npu au projet PyTorch.

4. 04

   Inférence Flash mono-carte : script sur 910B, --context_length 512000 (ajuster selon VRAM).

5. 05

   Quantification ou distribution : VRAM limitée → openPangu-2.0-Flash-Int8 ; Pro → distributed_inference.py (après juillet).

6. 06

   Affinage (optionnel) : LoRA finetune.py --method lora --lora_rank 16 ; second pré-entraînement après publication du code S2.

Exemple d'appel API (ModelArts)

curl -X POST "https://modelarts.${REGION}.myhuaweicloud.com/v1/infers/openpangu-2-flash/chat/completions" \
  -H "Content-Type: application/json" \
  -H "X-Auth-Token: ${TOKEN}" \
  -d '{
    "model": "openpangu-2.0-flash",
    "messages": [{"role": "user", "content": "Présentez-vous brièvement."}],
    "max_tokens": 1024,
    "temperature": 0.7
  }'

Exemple d'inférence Flash mono-carte

python inference.py \
  --model_path ./openPangu-Flash \
  --device npu:0 \
  --context_length 512000 \
  --precision bf16

Chiffres clés

• Échelle : Pro 505B/18B, Flash 92B/6B, contexte 512K commun
• Ascend : mono-carte 2× ; entraînement 512K +50 %
• Cohérence train/inférence MoE : >99 %
• Int8 : mémoire −40 %, perte <10 %
• Agent HarmonyOS : taux de succès tâches complexes >90 %
• 512K : huit romans longs ou un monorepo complet en un prompt

Questions fréquentes