WebLLM: запуск LLM прямо в браузере через WebGPU
15 октября 2026 г.
WebLLM — движок инференса LLM, работающий в браузере с GPU-ускорением через WebGPU и WebAssembly. Он предоставляет OpenAI-совместимый API, поддерживает структурированную генерацию JSON и достигает 85% нативной производительности.