河圖、洛書最早並非象徵智慧的無字天書，至少在隋唐之前是這樣的。我們梳理《河圖》《洛書》的發端以及流源，目的是爲了弄清楚來龍去脈，而非否認既定事實。歷史的輪次很容易理解，通俗地講就是隻能爹生兒子，而不能讓兒子返回去去生爹，即使兒子很有出息，很厲害。輪次顛倒是絕對不行的。通過對文獻的考據，我們可以認爲《河圖》《洛書》是北宋時期易經學者在象術方面的新發明，而絕不能以訛傳訛的認爲中國傳統文化發端於此二書。研究過史前文明的讀者必然是知曉的，各地文明並沒有一個統一的起源，華夏文化是不同地域文明互相交流融合的產物。
北宋新造的《圖》《書》一開始便遭到了質疑，歐陽修說：“河出圖，洛出書。聖人幽贊神明而生蓍。兩儀生四象。若此者，絕非聖人之言。”在《童子問易》中進一步闡述道理：《河圖》之出也，《八卦》之文已具乎？則伏羲受之而已，復何所爲也？《八卦》之文不具，必須人力爲之，則不足爲《河圖》也。其曰：觀天地，觀鳥獸，取於身，取於物，然後始作《八卦》，蓋“始作”者，前未有之言也。……若曰已受《河圖》，又須有爲而立《卦》，……不曰取法於《河圖》，此豈近於人情乎？
歐陽修的道理很簡單，如果說伏羲受到了《河圖》，有何必觀天地，觀鳥獸，從大自然中取法畫《八卦》呢？不如直接說取法《河圖》更明白些。如果說伏羲是通過自己對世間萬物的觀察總結出來《八卦》，又何必取法《河圖》呢？來回思索這很顯然這是有悖常理的。
蘇軾當時還是歐陽修的門人，並沒有贊同他的觀點，蘇軾說：《河圖》《洛書》其詳不可得而聞矣。然著於《易》，見於《論語》不可誣也。他這兩個依據我們前篇考證都聊過，《論語》中說的：“河不出圖”是一種祥瑞，而非《河圖》這本書。這句話還提供了一個重要的信息，歐陽修和蘇軾兩個人都沒有見過《河圖》《洛書》的內容。這一點很關鍵，《河圖》《洛書》是先有其名，而後學人才“僞造”其實際內容的，並且內容出現了很多版本各不相同的圖畫。
明代的歸有光，也不相信《河圖》《洛書》。他的意見是：經過秦火的諸多經典，在西漢唯恐殘缺散失，絕不至於“棄而不論”。據《漢書·藝文志》記載，當時詮釋《易經》的有十三家，二百九十四篇。可以說兩漢的易學大師都不知道有《河圖》《洛書》的存在，突然在北宋出現了，還說是《易經》的鼻祖，誰信呢？漢以後雖然說《易》的人不是很多了，但是王弼、韓康伯的書都還在流傳，也從來沒有誰提及過《圖》。最後他認爲以《圖》說《易》起源於北宋的邵雍。至於《洛書》他細數孔安國、劉牧、關朗的說辭，從義理的角度辨析說：夫《易》之道甚明，而儒者以《河圖》亂之；《洪範》之義甚明，而儒者以《洛書》亂之。
到了清代，隨着朱熹理學地位的下降。對《河圖》《洛書》的批評越來越多了，隨着質疑考辨之風氣，《圖》《書》逐漸失去了往昔的權威和地位，成爲易學史上的名詞。清代的黃宗義說：自朱子列之《本義》家傳戶誦……後之人徒見《圖》《書》之說載在聖經，雖明知其穿鑿附會，終不敢犯古今之不韙而黜其非。雖是如此批評，但對於《河圖》的本身有是一番維護：“河不出圖”說的是各國不上圖，並非“河”裏不出圖。批評宋人附會之後，又捏造了一個更加荒誕的說法。
對於《河圖》《洛書》來龍去脈梳理的比較透徹的應該是毛奇齡了，他說最初只有《河圖》，如《尚書》《論語》說的說辭，並不是涉及《洛書》。自《淮南子》以“綠圖”、“丹書”對舉之後，孔安國、劉歆便開始捏造故事，將《河圖》歸於伏羲，《洛書》歸於大禹。雖然兩漢讖緯學比較流行，很多說辭都怪誕不經，終東漢之末也沒有所謂的《圖》《書》出來。宋代陳摶驟出其《河圖》《洛書》，上無傳人，無出處，只有他的門徒在傳播。於是市面上就出現了劉牧版的《圖·書》，邵雍蔡元定版的《圖·書》，值得注意的是他們的內容是不一樣的。毛奇齡給出他的解釋是：陳摶的《圖·書》本於東漢末年鄭玄注《易》的“大衍之數”。鄭玄只是做了註解，並沒有《圖》，陳摶將其註解演以爲《圖》。至於《洛書》，其根底在於九宮配八卦，乃《易緯》所謂“太一下九宮”之法。
除了如上辯斥之外，另有張惠言、胡渭等人對後世有關《河圖》《洛書》流傳的說辭進行了逐條的批評和辯駁。比如“天地之數”不得爲《河圖》，”五行生成之數“不是《河圖》，又辯“太極”、“兩儀”、“四象”等不是《圖》也不是《書》中所有。在此不逐一而論了，大體可以得出結論，《河圖》《洛書》不是沒人反對，而是在朱熹被定位官學的明代，沒人敢反對。北宋便有人質疑，清代反駁尤其激烈。
我們可以置身事外的理解這種情況的發生，從先秦戰國到晚清，但凡有了新發明，只能託古而自重，爲了自己的作品能夠爲世人所重視，連署名權都不要，掛靠在知名學者的明顯，藉助他們的名望人氣來傳播自己的理論。這是情理之中的事情，也是時局之下迫不得已的事情，如果不這樣做的話，人傳三代而不得其要領，便真正的成爲“絕學”了。《河圖》《洛書》是對易學的詮釋，掛靠在伏羲《八卦》之前，後人只要學易經，便不得不瞭解一下《河圖》《洛書》，從這個角度來講，這場千古營銷的策劃是成功的。不能否認，這兩幅“象”對後人理解易理是有幫助的。