功能及特点

• PaLM 是一种 5400 亿参数的语言模型，使用 Pathways 技术进行训练。
• PaLM 能够在多个任务上实现最先进的零样本学习性能。
• PaLM 使用数据并行和模型并行相结合的策略，使得注意力和前馈层可以并行计算，从而提高了训练效率。
• PaLM 使用英语和多语言数据集进行训练，包括高质量的网络文档、书籍、维基百科、对话和 GitHub 代码。
• PaLM 在语言理解生成、推理和代码生成等任务上表现出突破性的能力。