橦言无忌

一个不想改变世界的程序媛

Germini from google

前言

多模态大模型方向的新模型:

Google 家的新模型,Germini,号称在多模态大模型上超过GPT-4

新颖观点

不管Germini和GPT-4之间怎么样,谷歌Gemini的发布还是给了其他团队很大信心,GPT-4从此不再是独一无二、难以企及的存在了。

正如AI搜索产品PerplexityAI创始人Aravind Srinivas总结:

  • 1、Gemini证明了OpenAI之外的团队可以搞出超越GPT-4的模型
  • 2、训练到位的密集模型可以超越GPT-4的稀疏模型架构

推论:从大教师模型蒸馏小尺寸密集模型会成为未来趋势,实现效率和能力的最佳结合。

技术点

  • 使用了思维链提示技巧
  • Gemini Ultra,Gemini Pro
// 代码折叠