計算機語言最初是以機器語言的形式顯露在世人眼前的。機器語言又稱爲二進制代碼語言或cpu語言，它是一種cpu的指令，是cpu可以識別的一組由1和0序列構成的指令碼，不需要進行任何翻譯。用機器語言編程序，就是從實用的cpu的指令系統中挑選合適的指令，組成一個指令系列每臺機器的指令，其格式和代碼所代表的含義都是硬性規定的。所以最初甚至有用製作語言小卡片來進行代碼輸入的方法，而這樣很明顯是耗時低效的。同時又由於機器語言嚴重地依賴於具體的計算機，所以可移植性差，重用性差；由於書面形式全是密碼，所以可讀性差，不便於交流與合作。
爲了減輕使用機器語言編程的痛苦，人們進行了一種有益的改進:用一些簡潔的英文字母、符號串來替代一個特定的指令的二進制串，比如，用”ADD”代表加法，”MOV”代表數據傳遞等等，這樣一來，人們很容易讀懂並理解程序在幹什麼，糾錯及維護都變得方便了，這種程序設計語言就稱爲彙編語言，即第二代計算機語言。然而計算機是不認識這些符號的，這就需要一個專門的程序，專門負責將這些符號翻譯成二進制數的機器語言，這種翻譯程序被稱爲彙編程序。
彙編語言同樣十分依賴於機器硬件，移植性不好，但效率仍十分高，針對計算機特定硬件而編制的彙編語言程序，能準確發揮計算機硬件的功能和特長，程序精煉而質量高，所以至今仍是一種常用而強有力的軟件開發工具。但彙編源程序一般比較冗長、複雜、容易出錯，而且使用彙編語言編程需要有更多的計算機專業知識，在計算機逐漸普及的今天，明顯已經不再適用。
故此，科學家開始慢慢研究起高級語言，B語言出現了。
B語言是貝爾實驗室開發的一種通用的程序設計語言，它是於1969年前後由美國貝爾實驗室的電腦科學家肯·湯普遜(Ken Thompson)在丹尼斯·利奇(Dennis Ritchie)的支持下設計出來。後來，丹尼斯·利奇以B語言爲基礎開發出C語言–目前世界上最常用的程序語言之一。他賦予了新語言強有力的系統控制方面的能力，並且新語言非常簡潔、高效，裏奇把它命名爲C語言，意爲B語言的下一代。自從被C語言取代之後，B語言幾乎已遭棄置。
自此，高級語言的發展一發不可收拾。
而現在流行的高級語言有java，c，c++，C#，pascal，python，lisp，prolog，FoxPro，易語言，中文版的C語言習語言等等，這些語言的語法、命令格式都不相同。
