Bölgedeki ilk yerleşimler prehistorik çağlarda MÖ 3000 yıllarındadır. Bitinya adıyla bilinen antik bölgede MÖ 2000'lerde Hititler, MÖ 1200'lerde Frigler hakimiyet kurdular. Pers egemenliği altında kalan bölge de MÖ 5. yüzyılın ortalarından itibaren Bitinyalı hanedanlar hakimiyet kurmaya başlamış ve MÖ 3. yüzyılda bağımsız Bitinya Krallığı' nı kurmuşlardır. Yalova' da bu krallığın topraklarında kalmıştır. Yalova' nın da içerisinde olduğu bölge MÖ 74'te Romalılar'ın denetimine girdi. Roma İmparatorluğu'nun 395 yılındaki bölünmesinden sonra Yalova Bizans İmparatorluğu'nun yönetimine geçti. 1302'de Yalova civarında Bafeus Muharebesi gerçekleşti. Yalova ve çevresi 1326 yılında Osmanlı İmparatorluğu'nun kontrolüne geçti.
7 Ağustos 1920 yılında başlayan Yunan hakimiyeti 19 Temmuz 1921 tarihine kadar sürdü. Bu dönemde Yalova ilindeki köylerde Yalova Katliamı olarak adlandırılan olaylar yaşandı.
Mustafa Kemal Atatürk yaşamının ilk kez 19 Ağustos 1929 tarihinde geldiği Yalova'da belirli dönemlerde ikamet etmiş, Yalova'da yaptırdığı, bugün merkez ilçe sınırları içindeki Atatürk Araştırma Enstitüsü içinde bulunan Yürüyen Köşk ve Termal ilçesinde bulunan evi müze olarak halkın yoğun ilgisiyle ziyaret edilmektedir.
Bir konuşmasında "Yalova benim kentimdir." şeklinde şehre olan sevgisini dile getirmiştir.
Yalova; 6 Haziran 1995 tarihinde Bursa ili Gemlik ilçesine bağlı Armutlu beldesi ile Kocaeli ili Karamürsel ilçesine bağlı Altınova, Subaşı ve Kaytazdere beldelerini sınırları içine alınarak il olmuştur. 17 Ağustos 1999 yılında meydana gelen 1999 Gölcük depremi nde Yalova ilinde büyük tahribat ve can kayıpları meydana geldi.