ในอดีตขนมชนิดนี้มีชื่อว่า ขนมแซงมา หรือ ขนมแฉ่งม้าซึ่งมีมาตั้งแต่สมัยรัชกาลที่ 4 แต่หาข้อสรุปไม่ได้ว่าหน้าตาของขนมนี้เป็นเช่นไร แต่ทราบกันว่าเป็นขนมที่มีชื่ออยู่ในเพลงกล่อมเด็กว่า”โอ้ละเหโอ้ละหึก ลุกขึ้นแต่ดึกทำขนมแฉ่งม้า ผัวก็ติ เมียก็ด่า ขนมแฉ่งม้าก็คาหม้อแกง” จนกระทั้งสมัยรัชกาลที่ 5 ท่านผู้หญิง เปลี่ยน ภาสกรวงศ์ ผู้เชี่ยวชาญอาหารคาวหวานแลผู้แต่งตำราเม่ครัวหัวป่าก์ในสมัยนั้นได้บันทึกไว้ว่า วันหนึ่งอุบาสิกาเนย วัดอัมริทร์ได้นำขนมมาให้ วางถาดขนม 2 หม้อ หม้อหนึ่งคือขนมไข่เต่า อีกหม้อหนึ่งเป็นขนมปลากริม อุบาสิกาเนยได้บอกกับเธอว่า”ขนมชนิดนี้คือขนมแซงมา” เธอจึงได้ถามออกไปว่า”ขนมเช่นนี้เขาเรียกกันว่าขนมปลากริม ขนมไข่เต่า มิใช่หรือ” อุบาสิกาเนยจึงบอกว่า”โบราณใช้ผสม 2 อย่างเข้าด้วยกันจึงเรียกว่าขนมแซงมา ถ้าอย่างเดียวจะเรียกว่าขนมปลากริม ขนมไข่เต่า รับประทานครั้งละครึ่งกันตักขนมปลากริมลงชามก่อนแล้วจึงตักขนมไข่เต่าทับหน้า เมื่อรับประทานเอาช้อนคน รับประทานเข้าด้วยกัน”