微信WeLM

WeLM是微信AI团队开发的一个中文预训练语言模型，能够在零样本和少样本情境下完成多种NLP任务。

WeLM的功能和特点：

WeLM拥有处理跨多语言（中英日）任务的能力，并且具有mutilingual的能力。

WeLM具有记忆能力、自我纠正和检查能力，能够学习少量的文本转换例子即可达到对任意类型的文本转换。

在14项中文NLP任务上，WeLM的整体表现超出了所有同大小的模型，甚至能够匹配比它大25倍的模型。

WeLM使用62k的SentencePiece tokenizer进行词表处理，再加上3万个中文符号和中文中常见的英语、日语、韩语等语言的常用词也被包括在内。

相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》已经发布于论文预印本网站arXiv（https://arxiv.org/abs/2209.10372）