正在嘗試訓練一個小型的 11M 參數字符級文本擴散模型！ 這是一個正在進行中的項目，但目前的代碼是對 nanochat gpt 實現的重度修改版（將自回歸解碼更改為擴散），並且是基於 Tiny Shakespeare 數據集進行訓練的。 簡單的遮罩計劃實現是對每個迭代中的每個標記使用均勻的遮罩概率。更新的方法是從左到右以塊狀進行遮罩，這樣可以提高輸出質量並允許某些 KVCache 的重用。 我意識到在生成過程中實際上可以以任何任意方式應用遮罩。下面你可以看到我根據康威的生命遊戲的規則應用了遮罩。 我想知道是否有任何不尋常的遮罩策略可以提供好處。無論如何，這是一種非常有趣且令人著迷的方式來破壞和變形文本。

BERT 只是一個單一的文本擴散步驟！ (1/n) 當我第一次讀到語言擴散模型時，我驚訝地發現它們的訓練目標只是掩蔽語言模型（MLM）的概括，這是我們自 2018 年以來一直在做的事情。 我第一個想到的問題是："我們能否微調一個類似 BERT 的模型來進行文本生成？"

研究日誌 第0天：DiLoCo日 我決定圍繞分散式低通訊訓練撰寫論文。基本上，我們如何能夠在分散的節點上有效地訓練大型模型，而不會被網路延遲和帶寬完全摧毀？ (1/n)