General datasets for deep learning in CV

发表于 2023-03-23 更新于 2023-11-16 分类于 MachineLearning Valine：
本文字数： 5.5k 阅读时长 ≈ 5 分钟

前言

通用检测任务的常用数据集，包含VOC，COCO，ImageNet，不断更新其他分支任务的数据集。

big data is all you need

阅读全文 »

General activate functions

发表于 2023-03-23 更新于 2023-11-16 分类于 MachineLearning Valine：
本文字数： 5.3k 阅读时长 ≈ 5 分钟

前言

激活函数汇总对比~

随时加更中~

阅读全文 »

Unraveling Attention via Convex Duality-Analysis and Interpretations of Vision Transformers

发表于 2023-03-22 更新于 2024-11-20 分类于 Transformer Valine：
本文字数： 22k 阅读时长 ≈ 20 分钟

前言

文章：Unraveling Attention via Convex Duality-Analysis and Interpretations of Vision Transformers

essay link

通过凸对偶性解释Transformer网络~

阅读全文 »

Transformer are Deep Infinite-Dimensional Non-Mercer Binary Kernel Machines

发表于 2023-03-22 更新于 2023-03-23 分类于 Transformer Valine：
本文字数： 21k 阅读时长 ≈ 19 分钟

前言

文章：Transformer are Deep Infinite-Dimensional Non-Mercer Binary Kernel Machines

essay link

无限维non-mercer跟Transformer关联的文章，感觉这是最近五篇文章中最难的，主要泛函已经还给老师了，老天爷啊！

阅读全文 »

Lifted Proximal Operator Machines

发表于 2023-03-22 更新于 2023-11-16 分类于 MachineLearning Valine：
本文字数： 16k 阅读时长 ≈ 15 分钟

前言

title: Lifted Proximal Operator Machines

论文百度云链接: https://pan.baidu.com/s/1J2hdhLMp_xW6QcmWRi1-zA
提取码: ersk

提升近端算子机，将非凸问题进行凸化的利器，已用于分析DNN的网络和训练策略等~

阅读全文 »

Convexifying Transformers

发表于 2023-03-22 更新于 2023-05-26 分类于 Transformer Valine：
本文字数： 13k 阅读时长 ≈ 12 分钟

前言

文章：Convexifying Transformers: Improving optimization and understanding of transformer networks

essay link

凸优化的角度理解和优化Transformer网络~

阅读全文 »

Attention is all you need

发表于 2023-03-22 更新于 2023-03-23 分类于 Transformer Valine：
本文字数： 9.2k 阅读时长 ≈ 8 分钟

前言

文章：Attention is all you need

essay link

Transformer的开山鼻祖~

阅读全文 »

Operation and maintenance tools

发表于 2022-12-13 更新于 2023-12-13 分类于 Tools Valine：
本文字数： 2.2k 阅读时长 ≈ 2 分钟

前言

流量监控

MRTG
Cacti
SmokePing
Graphite

性能告警

Nagios
Zabbix
Zenoss Core
Ganglia
OpenTSDB
运维工具篇
阅读全文 »

Fourier Transformer

发表于 2022-11-16 更新于 2023-03-23 分类于 Transformer Valine：
本文字数： 17k 阅读时长 ≈ 15 分钟

前言

文章：Transformer with Fourier Integral Attentions

essay link

无参数核估计，Fourier积分原理等跟Transformer关联的文章，似懂非懂啊，老天爷！

阅读全文 »

数学专业课学习资源

发表于 2022-11-15 更新于 2023-11-16 分类于 MachineLearning Valine：
本文字数： 236 阅读时长 ≈ 1 分钟

前言

数学专业课的学习资源，大多是视频，后续会不断增加其他形式~

多年前翘的课，早晚要还回去~

阅读全文 »