現知最早的魚類化石，發現於距今約5億年前的寒武紀晚期地層中，但只是一些零散的鱗片，未能解釋一個有關魚類身態的輪廓。到距今4億年至3億5千萬年前的志留紀晚期和泥盆紀時，纔有大量魚化石被發現。這些魚化石，有的在構造特徵上彼此已很不一樣，說明當時已有多類魚類存在。最早出現的魚類是無頜魚，它們沒有上、下頜，只有一個漏斗式的口位於身體前端，現在的魚就是由這種無頜魚進化來的。
