橦言无忌

一个不想改变世界的程序媛

he kaiming in cuhk
用疑问解答AI模型可解释性问题
Q:我的问题是关于AI模型的可解释性。我发现一些AI模型表现得非常好,在某些指标上可以超越人类。然而,我们如何解释AI模型的整体行为呢?我们是否可以对AI模型进行准确的预测,以及我们的AI模型是否真的可以变得非常可靠?我想知道您如何看待这个问题。

何恺明:我想问你一个问题,当你乘坐出租车时,为什么你会信任一个人类司机?这位司机一般对你来说是个陌生人,你并不了解他,你只知道他是个人类。

你会信任他是因为你觉得他的大脑是可以解释的?还是因为你认为一个经过良好培训、有丰富实践经验的人类司机在实际操作中大概率会做得很好?

我并不需要你的答案,这是我的疑问。人们也问过同样的问题。为什么我们信任飞机?是因为我们有足够的物理定律或数学推导可以确保飞机在空中飞行,还是因为飞机已经在空中被测试了数百万次?

所以我相信,可解释性是一个非常好的属性,我真心鼓励大家去追求它。但另一方面,我们需要认识到,我们系统的成功大部分也是基于实证来推动或验证的。

一,前言

Nvidia的A100和H100对比~

nvidia Memory Memory Structure Memory Bandwidth GPT3-175B-inference Llama-70B-inference HPC simulation
H200 141GB HBM3e 4.8TB/s 1.6X 1.9X 2.0X
H100 - - 3.35TB/s - - -

H100的显存带宽更小,为啥更受欢迎?

阅读全文 »

link

一,前言

pytorch原生库加速文本生成模型~

特征:

  • 低延迟
  • 小于1000行代码
  • 仅依赖pytorch的原生库
  • int8/int4量化
  • Speculative decoding(推测性解码?)
  • 张量并行
  • 支持Nvidia和AMD的GPU显卡

pytorch团队出品,仅依赖pure pytorch

阅读全文 »
// 代码折叠