科技巨头Meta日前发布了其新一代开源大型语言模型Llama 3,并宣称该模型在多项评测中力压谷歌、Anthropic等公司的AI模型,展现了领先实力。
根据Meta的博客,Llama 3目前提供了8B和70B两个参数规模的版本。这两个版本虽然暂时只支持文本输入输出,但在回答多样性、拒绝回答率等方面,较前代Llama模型有了极大提升,推理和代码生成能力也得到明显增强。
在通用知识测评基准MMLU上,Llama 3的8B版本明显优于谷歌的Gemma 7B和Mistral 7B模型,而70B版本则稍胜谷歌最新Gemini Pro 1.5模型。
除了基准测试,Meta还组建了一个1800个提示语的人工评估数据集,模拟真实场景下的多种使用案例,如寻求建议、创作写作、总结归纳等。在该数据集的人工评估中,Llama 3的表现也强于包括OpenAI的GPT-3.5在内的多个对手模型。
不过,Meta在博文中并未提及OpenAI的GPT-4模型,似乎暗示了这一新星将成为Llama 3的主要竞争对手。
虽然如今公布的Llama 3版本存在一些限制,但Meta透露,未来还将推出支持多模态输入输出的400B以上大尺度版本,以期在上下文理解和综合能力上再下一城。
现在还可在HuggingChat上体验llama3:https://huggingface.co/chat/models/meta-llama/Meta-Llama-3-70B-Instruct
详细介绍:https://ai.meta.com/blog/meta-llama-3/
模型下载:https://llama.meta.com/llama3/
在线体验 :https://www.meta.ai/