Triton 推理服务器允许团队从基于 GPU 或 CPU 的基础设施上的本地存储、Google Cloud 平台或 AWS S3 部署通过各种框架（TensorFlow、PyTorch、TensorRT Plan、Caffe、MXNet 或自定 …

Triton 的教程, 其实英文和中文版都很少, 知乎上有一些文章, 比如 杨军：谈谈对OpenAI Triton的一些理解 陈清扬：OpenAI Triton：25行代码实现cuBLAS GEMM 95%以上的性能 科研败犬 …

Triton Mult-Model Execution Diagram 默认情况下，如果同时到达多个针对同一模型的请求（比如同时有两个请求分类模型model1），Triton会通过在GPU上 一次只调度一个来序列化它们的 …

TVM、Triton 与 Mojo 这三个技术各自在深度学习编译和执行领域中扮演着重要的角色。 为了全面理解它们之间的发展关系及Mojo的潜在能力，我们接下来探讨一下它们各自的功能、设计理念 …

TVM 是正儿八经的深度学习编译器。且是目前功能最全面的、图算功能都有的AI编译器。 trition是基于MLIR框架的一款“算子”编译器，起初是为了绕过cuda去写gpu算子，现在成为MLIR社区 …

0x00 前言 本文介绍vLLM中Triton Merge Attention States Kernel的实现，与 pytorch原生实现相比，该Triton kernel最高可实现 3-5 倍以上的算子加速。

稀释TritonX-100的难点在于Triton X-100原液很粘稠，如果用移液管是没法精准移取的，因为很大一部分会粘在移液管内壁。 所以移取 Triton® X-100 推荐使用Eppendorf Multipette® E3/E3x …

图2：cuda，triton和torch对程序员可操作范围 图二显示，triton中用户只需要管理grid一层粗粒度的分配即可，而不需要管理更底层的分配。 接下来，一步步对比一下triton和cuda kernel的细节 …

感觉比较困难，因为triton很核心的tensor类编程要求了tensor和vector能力的交互。而npu本质还是加速器，编程能力不强。 2024.May.24更新如下 有希望，因为Ascend的整体编程模型 …

本来准备早睡，刷到这一条知乎直接起来在tilelang里补上了GEMM的Stream-K和SplitK的Example (主打一个秒杀），不要问我为什么不写Triton，不喜欢，不爱写，速速加入TileLang神教！