kernel と Buffer
kernel function は、GPU でも実行できる関数です。dispatch(kernel, 個数, 引数...) で、0 から個数未満の各添字について実行します。CPU で実行しても GPU で実行しても同じ結果になるように意味を決めてあります。ネイティブの CPU では、大きな dispatch を複数のスレッドに分けて実行します。
struct Particle { pos: f32; vel: f32;}
kernel function integrate(i: u32, ps: mut Buffer<Particle>, dt: f32): void { ps[i].pos = ps[i].pos + ps[i].vel * dt;}
export function main(): i32 { let ps = new Buffer<Particle>(1000); // 長さ固定、ゼロ埋め dispatch(integrate, ps.length, mut ps, 0.016); return 0;}Buffer<T>は CPU と GPU が共有するデータの置き場です。 長さは固定で、要素はi32/u32/f32と、それらのstruct・固定長配列・ベクトル、それに 8 / 16 ビットの整数i8/u8/i16/u16(要素そのものとしてだけ。struct のフィールドや固定長配列の要素にはできない)に限ります。所有権の扱いは可変長配列と同じです。下の「8 / 16 ビットの整数の Buffer」を参照。- kernel の中で使える型は
bool/i32/u32/f32と、それらのstruct・固定長配列、f32/i32/u32のベクトルと行列、値がi32/u32/f32/boolだけの enum です。 8 / 16 ビットの整数は、単独の値として読み書きと変換だけに使えます(下の「8 / 16 ビットの整数の Buffer」)。小数リテラルはf32になります。 - kernel が書き込めるのは、
mutの Buffer の[i]だけです。iは第1引数(u32)で、各要素を別々の実行が担当するので競合しません。隣の要素は、別の(mutでない)Buffer から読みます。どの要素にも書きたいときはRacyBuffer(下の「スレッド」)を使います。 - kernel は確保・
print・通常の関数の呼び出し・再帰ができません。 補助関数もkernel functionとして書きます。 - kernel は停止しません(GPU に停止がないため)。 範囲外の添字は最後の要素に切り詰めます。整数のゼロ除算は
x / 0 = x、x % 0 = 0、シフト量はビット幅で割った余りです。 dispatchの個数は、書き込み先の Buffer の長さ以下でなければなりません。 超えると停止します。- 実行先は
dispatchが自動で選びます。 明示するときはcpu.dispatch/gpu.dispatchと書きます。GPU で実行できるビルドは、Mac の Metal(UM_METAL=1)と wasm32(WebGPU)です。それ以外のネイティブのビルドではdispatchは常に CPU で、gpu.dispatchはコンパイルエラーです。gpu.dispatchは、GPU が使えない環境で実行すると停止します。 - GPU で実行できるビルドでは、dispatch する kernel に値として渡す struct や配列に
boolを含められません(CPU と GPU でビット表現が違うため。u32の 0 / 1 を使うか、cpu.dispatchで呼びます)。 - CPU と GPU を同時に走らせるには
gpu.submitを使います(下の「Metal(Mac)での GPU 実行」)。
例: examples/kernels.um、examples/particles_kernel.um、examples/parallel_kernels.um。
8 / 16 ビットの整数の Buffer
Section titled “8 / 16 ビットの整数の Buffer”Buffer<i8> / Buffer<u8> / Buffer<i16> / Buffer<u16>(と同じ要素の RacyBuffer)が使えます。量子化したニューラルネットの重み(i8 / i16)のような小さい整数を、詰め直さずにそのまま GPU と共有できます。
kernel function affine(i: u32, out: mut RacyBuffer<i32>, w: Buffer<i8>, x: Buffer<u8>, n: u32): void { let acc: i32 = 0; for (let k: u32 = 0; k < n; k++) { acc = acc + (w[i * n + k] as i32) * (x[k] as i32); } out[i] = acc;}const t = gpu.submit(affine, rows, mut out, w, x, n); // w と x は読むだけなので普通の Buffer でよいconst mine = affineCpu(w, x, 2, n); // そのあいだに CPU も同じ重みを読めるgpu.wait(t);- kernel の中の 8 / 16 ビットの値は、読み書き・比較・
asでの変換だけです。 計算はas i32/as u32で広げてから行い、書くときにas i8などで戻します(asは下位のビットを残す。CPU と GPU で同じ値)。GPU では 32 ビットのレジスタに入れて持つので、演算ごとに切り詰め直す手間を避けるためです。浮動小数点との直接の変換もできません(32 ビットの整数を経由する)。kernel の外では、ほかの整数と同じにすべての演算が使えます。 - dispatch する kernel の値の引数には使えません(
i32で受けて kernel の中で変換)。kernel の補助関数の引数と戻り値には使えます。 - 確保は 4 バイトの倍数に切り上げます(長さは頼んだ数のまま)。GPU が 4 バイト単位で読み書きするためです。
- GPU での実装: Metal(MSL)では
char/uchar/short/ushortをそのまま読み書きします。WebGPU(WGSL)には 8 / 16 ビットの整数がないので、u32の配列として渡し、要素を取り出す関数を通します。書き込みは、同じ語の隣の要素を別の実行が同時に書くので、アトミックな演算(atomicAnd+atomicOr、RacyBuffer では比較交換)で自分のビットだけを変えます。WGSL の版は Deno の WebGPU(wgpu)で、CPU と同じ結果になることを確かめました(tests/metal/small_ints.umの kernel)。 - 書く Buffer が 8 / 16 ビットの要素だと、Metal の検算による早い完了の確認は使いません(Metal の完了の知らせを待つ)。
f16の Buffer はまだありません(WGSL の f16 は拡張機能で、丸めの決まりを CPU と揃えられないため)。- 例: examples/small_ints.um。
標準の関数(詰めた小さい整数)
Section titled “標準の関数(詰めた小さい整数)”runtime/prelude.um の関数は、どのプログラムからもそのまま呼べます。BitNet のような3値の重みを、1個2ビットで Buffer<u32> に詰めて扱うためのものです。
let weights = new Buffer<u32>(packed2Words(count)); // 必要なワード数packed2Set(mut weights, k, -1); // 書く(CPU専用。範囲外は停止)const w = packed2Get(weights, k); // 読む(-2 〜 1。kernel の中でも使える)out[i] = ternaryDot(weights, i * inputs, x, 0, inputs); // 3値の重みと入力の積和(掛け算なし)w[i] と書ける専用の型ではなく、関数です。3値の重みを「2ビットずつ詰める」形に決め打ちしています(5個を1バイトに詰める形は未対応)。1ビットの packed1Words / packed1Get / packed1Set もあります。例: examples/packed_weights.um。examples/bitnet.um には、重みが -1 / 0 / +1 の3値の線形層(BitNet 風)を kernel で書いた例があります。