橦言无忌

一个不想改变世界的程序媛

前言

针对的几个挑战性问题

  • 无效的图文之间的强关联假设
  • 预训练的效率低下
  • 模型部署困难

解决问题
提出了BriVL的双塔模型 + 借鉴MoCo的策略 + 一个给予队列的字典 + InfoNCE Loss

模型适用场景
图像检索文本、文本检索图像、图像标注、图像零样本分类、作为其他下游多模态任务的输入特征等。

paper link
code

BriVL,首个中文通用图文多模态大规模预训练模型

阅读全文 »

前言

虚函数可以说是在涉及C++的面试问题中经久不衰的话题了,这里就介绍一下虚函数的概念以及相关的常见问题。

加油~

阅读全文 »

前言

C++中释放内存的方式有 delete 和 delete[] 两种,它们的区别是什么呢?

加油~

阅读全文 »

前言

智能指针是C++11中的一个很重要的新特性,理解智能指针的用法无论对面试还是平时编写代码都有很大的好处,

所以接下来就让我们了解一下C++中的4种智能指针是如何工作的吧。

加油~

阅读全文 »

前言

C++11新增了很多新特性,这也成为了面试中非常常见的问题,这里介绍一些常用的新特性。C++11新特性有很多,这里就简单整理几个很常见的,应该足以应对面试中的问题了。

加油~

阅读全文 »

摘要

最近计算能力的突破使得机器学习和深度学习可用于推进许多领域的科学计算,包括流体力学、固体力学、材料科学等,神经网络在这种混合科学中发挥着核心作用。 由于其固有的架构,传统神经网络在数据稀疏时无法成功训练以及确定范围,许多科学和工程领域就是这种情况。 尽管如此,神经网络给训练期间的物理驱动或基于知识的约束提供了坚实的基础。 一般来说,存在三种不同的神经网络框架来强化底层物理:(i) 物理引导神经网络 (PgNN)、(ii) 物理信息神经网络 (PiNN) 和 (iii) 物理编码神经网络 (PeNN),这些方法为加速复杂多尺度多物理现象的数值建模提供了明显的优势。 此外,神经算子(NO)的最新发展为这些新的模拟范式增加了另一个维度,特别是当需要复杂的多物理系统的实时预测时。 所有这些模型也都有其独特的缺点和局限性,需要进一步的基础研究。 本研究旨在回顾科学计算研究中使用的四种神经网络框架(即 PgNN、PiNN、PeNN 和 NO),回顾了最先进的架构及其应用,讨论了局限性,并提出了在改进算法、考虑因果关系、扩展应用以及耦合科学和深度学习求解器方面的未来研究机会。 这篇批判性评论为研究人员和工程师提供了一个坚实的起点,帮助他们理解如何将不同的物理层集成到神经网络中。

PGNN,PINN,PENN

阅读全文 »
// 代码折叠