พิพิธภัณฑ์อยู่สุขสุวรรณ์ ได้ตั้งตามชื่อ-สกุลของ คุณณรงค์ อยู่สุขสุวรรณ์ หรือที่ชาวปราจีนบุรี เรียกว่า “เฮียพันธ์” ซึ่งแต่เดิมนั้นประกอบอาชีพรับซื้อขายของเก่าจำพวกเศษเหล็กและโลหะ ในช่วงแรกๆ จะมีตะเกียงเจ้าพายุติดมากับพวกเศษโลหะจำนวนมาก แต่ก็ยังไม่ได้ให้ความสนใจมากนักและยังขายไปในราคาเดียวกับเศษเหล็กด้วยซ้ำ แต่เมื่อมีคนมาซื้อได้ให้ราคาเป็นดวงซึ่งสูงกว่าการขายเป็นกิโลกรัมเหมือนเศษโลหะโดยให้ราคาดวงละ 50 บาท จึงได้คัดแยกไว้ขายให้คนที่ต้องการเพราะเริ่มมีคนสนใจมากขึ้นเพื่อที่จะนำไปตกแต่งให้สวยงามและขายต่อให้ชาวต่างประเทศในราคาสูง ราคาจึงพุ่งขึ้นถึงดวงละ 100 บาท นับเป็นราคาที่สูงมาก ในขณะ
นั้นคุณณรงค์จึงเริ่มสงสัยและถามผู้ที่มาซื้อจึงได้ทราบเรื่องและฉุกคิดขึ้นมาว่า หากขายออกไปจำนวนมากอาจทำให้ตะเกียงเจ้าพายุซึ่งเป็นตะเกียงที่มีเอกลักษณ์สวยงามและทนทานหมดไปจากประเทศไทยและคนรุ่นหลังอาจไม่รู้จักเพราะไม่เคยเห็นตะเกียงแบบนี้ จึงได้ตัดสินใจเริ่มสะสมโดยตะเกียงดวงแรก ก็คือ
ตะเกียงขนาด 150 แรงเทียน แม้จะดูเหมือนตะเกียงเจ้าพายุทั่วไปแต่เป็นแบบดวงเล็กเห็นแล้วชอบจึงเก็บเอาไว้ และเริ่มมีตะเกียงแบบแปลกๆ
มากขึ้น และเพื่อนฝูง หรือคนรู้จักต่างก็ซื้อมาฝากด้วยสิ่งแรกที่เก็บสะสมจะเป็นตะเกียงแล้วจึงเริ่มสะสมสิ่งอื่นๆ ตามมาทีหลัง อาทิเช่น นาฬิกา จักรยาน ข้าวของเครื่องใช้ต่างๆ เป็นต้น ประกอบกับคุณวิภาวรรณ์ อยู่สุขสุวรรณ์ ซึ่งเป็นภรรยา คุณณรงค์ อยู่สุขสุวรรณก็เป็นคนที่ชอบสะสมตู้เก่า ตู้โบราณที่ทำจากไม้สัก จึงทำให้มีของเก็บสะสมจำพวกตู้มากขึ้น พอเก็บสะสมได้มากขึ้นก็มีคนขอเข้าชมโดยที่ทางเราก็ไม่ได้เก็บเงิน แต่ก็เกิดความไม่สะดวกแก่ผู้เข้าชมเพราะพื้นที่แคบ และของบางอย่างก็ไม่สามารถที่จะวางโชว์ได้ก็จะเห็นแต่ตะเกียงเพียงอย่างเดียวเวลาที่จะดูแลคนที่มาเยี่ยมชมก็มีน้อย เพราะจะต้องดูแลกิจการร้านสหพันธ์การค้าด้วย จึงมีความคิดที่จะสร้างพิพิธภัณฑ์ขึ้นเพื่อที่จะให้คนรุ่นหลังได้เห็นได้รู้จัก
และทราบถึงข้อมูลสิ่งของที่หาดูได้ยากเหล่านี้ ซึ่งสิ่งของที่จัดแสดงทั้งหมดนี้ใช้ระยะเวลาในการเก็บสะสมมากกว่า 30 ปี สิ่งเหล่านี้จึงถือว่าเป็นจุดกำเนิดของพิพิธภัณฑ์อยู่สุขสุวรรณ์ก็ว่าได้ พิพิธภัณฑ์อยู่สุขสุวรรณ์ ก่อตั้งเมื่อวันที่ 22 เมษายน 2545 ใช้ระยะเวลาในการก่อสร้างเป็นเวลา 4 ปีเศษ เปิดให้เข้าชมเมื่อวันที่ 27 มกราคม 2550