สมาคมห้องสมุดนีลเซนเฮส์ (Neilson Hays Library) จดทะเบียนขึ้นเป็นสมาคมห้องสมุด เมื่อวันที่ 25 มกราคม พ.ศ. 2412 โดยสมาชิกสมาคมสตรี (The Ladies’ Bazaar Association) ซึ่งสมาชิกเป็นสุภาพสตรีชาวต่างชาติที่อาศัยอยู่ในกรุงเทพ โดยนำรายได้จากการขายของของสมาคมสตรีนำมาจัดตั้งสมาคมห้องสมุดสตรีกรุงเทพ (The Bangkok Ladies' Library Association) ขึ้นเพื่อให้บริการแก่ชาวต่างชาติที่อาศัยอยู่ในกรุงเทพโดยมีข้อบังคับของสมาคมที่ให้การบริหารงานนั้นต้องประกอบไปด้วยกรรมการสมาคมที่เป็นสตรีจำนวนไม่เกิน 12 คน
นายกสมาคมคนแรกซึ่งเป็นผู้ก่อตั้งก็คือ นาง Sarah Blachley Bradley ซึ่งเป็นภรรยาของคุณหมอบรัดเลย์ (Dr.Dan Beech Bradley)
ในปี พ.ศ. 2454 ได้เปลี่ยนชื่อ จากสมาคมห้องสมุดสตรีกรุงเทพ เป็น สมาคมห้องสมุดกรุงเทพ
ส่วนชื่อปัจจุบันของห้องสมุด คือ สมาคมห้องสมุดนีลเซนเฮส์ นั้นมาจากชื่อของนาง Jennie Neilson Hays ซึ่งชื่อเดิมของ นาง Jennie Neilson Hays คือ Jennie Neilson เป็นชาวเดนมาร์ก ครอบครัวได้อพยพไปอยู่อเมริกาต่อมาได้เดินทางเข้ามาเป็นมิชชั่นนารีในประเทศไทยในปี พ.ศ. 2427 และได้พบกับคุณคุณหมอ Thomas Heyward Hays ซึ่งเดินทางเข้ามาในประเทศไทยในปีพ.ศ. 2429 และทั้งคู่ได้แต่งงานกันในปี พ.ศ. 2430
ต่อมานาง Jennie Neilson Hays ได้เข้ามาทำงานให้กับสมาคมห้องสมุดโดยเตั้งแต่ปี พ.ศ. 2438 ตลอดเวลาเธออุทิศตัวและเวลาเพื่อทำกิจกรรมมากมายเพื่อให้ห้องสมุดสามารถดำเนินกิจการต่อไปได้ ในปี เธอทำงานให้กับห้องสมุดเป็นเวลาถึง 25 ปี และเธอได้เสียชีวิตด้วยโรคอหิวาตกโรคในเดือน เมษายน พ.ศ. 2463
ตั้งแต่จัดตั้งขึ้นเป็นสมาคมห้องสมุดในปี พ.ศ. 2414 เป็นต้นมาห้องสมุดไม่มีสถานที่ทำการถาวรย้ายไปตามที่ที่จะได้รับอนุเคราะห์จากสมาชิกและผู้ให้การสนับสนุนอยู่ตลอดเวลา หลังจากนาง Jennie Neilson Hays ได้เสียชีวิตลงในปี พ.ศ. 2463 ด้วยความรักที่เธอมีต่อห้องสมุด คุณหมอ Thomas Heyward Hays จึงได้สร้างอาคารถาวรและซื้อที่ดินริมถนนสุรวงศ์เพื่อยกให้เป็นของห้องสมุดและเป็นที่ระลึกถึงภรรยาของท่าน ดังนั้นสมาคมห้องสมุดกรุงเทพ (The Bangkok Library Association) จึงได้เปลี่ยนชื่อเป็น "ห้องสมุดนีลเซนเฮส์" พร้อมกับอาคารใหม่ที่สร้างเสร็จเริ่มเปิดทำการในเดือน มิถุนายน พ.ศ. 2465 โดยสถานที่ตั้งนั้นอยู่ที่ เลขที่ 193,195 ถนนสุรวงศ์ และปัจจุบันห้องสมุดก็ยังเปิดให้บริการอยู่
อาคารแห่งนี้ออกแบบโดยสถาปนิกชาวอิตาเลียนชื่อ นายมาริโอ ตามานโญ (Mr.Mario Tamagno) และสถาปนิกผู้ช่วยชื่อนายจีโอวานี แฟร์เรโร (Mr.Giovanni Gerreo)ลักษณะอาคารเป็นรูปแบบนีโอคลาสสิค โดยผังอาคารเป็นรูปตัว H ทางเข้าเป็นห้องทรงกลมหลังคาทางเข้าเป็นโดม ซึ่งปัจจุบันทางเข้าเดิมได้ปิดและปรับปรุงให้ใช้เป็นห้องแสดงนิทรรศการแสดงผลงานศิลปะโดยใช้ห้องนี้ชื่อว่า Rotunda Gallery ส่วนทางเข้าไปย้ายไปอยู่ด้านข้างแทน