GPT-4 所採用的「預測下一個詞」模式，存在着明顯的侷限性：模型缺乏規劃、工作記憶、回溯能力和推理能力。
由於模型依賴於生成下一個詞的局部貪婪過程，而沒有對任務或輸出的全局產生深入的理解。因此，GPT-4 擅長生成流暢且連貫的文本，但不擅長解決無法以順序方式處理的複雜或創造性問題。
比如，用範圍在 0 到 9 之間的四個隨機數進行乘法和加法運算。在這個連小學生都能解決的問題上，GPT-4 的準確率僅爲 58%。
當數字在 10 到 19 之間，以及在 20 到 39 之間時，準確率分別降至 16% 和 12%。當數字在 99 到 199 的區間時，準確率直接降至 0。
然而，如果讓 GPT-4「花時間」回答問題，準確率很容易提高。比如要求模型使用以下提示寫出中間步驟：
116 * 114 + 178 * 157 = ?
讓我們一步一步思考，寫下所有中間步驟，然後再產生最終解。
此時，當數字在 1-40 的區間時，準確率高達 100%，在 1-200 的區間時也達到了 90%。
