Fosil-fosil menunjukkan bahwa ikan pertama terbentuk pada Periode Ordovician yang dimulai sejak 460.000.000 tahun silam. Ikan ini tidak memiliki rahang dan paling primitif. Mulutnya hanya merupakan saluran terbuka sederhana, cocok untuk memakan hewan-hewan kecil yang tersembunyi dalam lumpur.
Selanjutnya muncul ikan yang memiliki rahang. Keberadaan rahang memungkinkan ikan untuk makan secara lebih efisien dan memperoleh makanan dari beragam sumber. Ikan-ikan permulaan yang telah berhasil mengembangkan rahang disebut placoderm. Rahang-rahang ikan sebenarnya berevolusi dari sekumpulan lengkungan insang yang terdapat pada ikan tanpa rahang. Lengkungan-lengkungan insang ini merupakan penyokong-penyokong berupa tulang yang menopang insang. Dari placoderm inilah berevolusi jenis-jenis ikan yang kita jumpai sekarang.