mlopsarxiv

Formalizing PTX in Lean to Prove GPU Kernel Correctness

We present an approach to mathematically formalizing PTX, an approach that allows modeling and reasoning about patterns common in GPU kernels for Deep Learning, including acquire-release, tensor…

Luk Koska / Tom Koska / Ben Koska

用途
原典で確認
難易度の目安
Hard
実装コストの目安
Medium

概要

We present an approach to mathematically formalizing PTX, an approach that allows modeling and reasoning about patterns common in GPU kernels for Deep Learning, including acquire-release, tensor cores, proxies, async operations, multi-kernel pipelines and data-dependent control flow. We implement it in Lean and use it to prove the correctness of simple implementations of a WGMMA GEMM kernel, FlashAttention, and a 3-kernel MoE pipeline.

参考リンク

リンク先のライセンス・再現性・データ条件をご確認ください。自動分類や実装の目安は保証ではありません。

実装を始めるプロンプト

参考リンクを確認したうえで、次の内容をコピーして利用できます。

# 論文・記事
Formalizing PTX in Lean to Prove GPU Kernel Correctness

# 概要
We present an approach to mathematically formalizing PTX, an approach that allows modeling and reasoning about patterns common in GPU kernels for Deep Learning, including acquire-release, tensor…

# 原典
https://arxiv.org/abs/2611.04447

上記の手法を実装してください。実行前に依存関係とライセンスを確認してください。

関連する記事

github実装リンクあり

kedro — Kedro is a toolbox for production-ready data science. It uses software engineering best practices to help you create data engineering and data science pipelines that are reproducible, maintainable, and modular.

プロダクションリードデータサイエンスを実現するためのツールボックスです。データエンジニアリングとデータサイエンスパイプラインを再現性、メンテナンス性、モジュール性を持つものにすることができます。

プロダクションリードデータサイエンスのツールボックス