ในปี พ.ศ. ๒๔๓๙ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรดฯ ให้มีการจัดทำงบประมาณแผ่นดินขึ้นเป็นครั้งแรก เพื่อให้การรับจ่ายเงินของแผ่นดินเป็นไปอย่างรัดกุม ต่อมาในปี พ.ศ. ๒๔๔๐ สืบเนื่องจากอิทธิพลของจักรวรรดินิยมตะวันตกกำลังแผ่เข้ามาคุกคามดินแดนไทย ทำให้พระองค์ทรงเห็นความจำเป็นในการเสด็จพระราชดำเนินเยือนยุโรป เพื่อเจริญสัมพันธไมตรีกับนานาอารยประเทศและเพื่อทำให้ประจักษ์ถึงฐานะและบทบาทของไทยที่มีความ “ศิวิไลซ์” เช่นเดียวกับอารยประเทศอื่นๆ ในสังคมโลก ความคิดในการจัดตั้ง “ธนาคารกลาง” (National Bank) เป็นธนาคารของประเทศนับว่าก่อกำเนิดขึ้นจากจุดนี้ด้วยเช่นกันดังคำกล่าวของ พระเจ้าน้องยาเธอ กรมหมื่นมหิศรราชหฤทัย เสนาบดีกระทรวงพระคลังมหาสมบัติ ผู้ตามเสด็จคราวประพาสยุโรปด้วยพระองค์หนึ่ง ว่า
“...ถ้าไทยมีอำนาจในการนี้ขึ้นได้เพียงใดก็เท่ากับเปนไทยแก่ตัวขึ้นเพียงนั้น ฟิแนนซ์เปนเครื่องป้องกันผลประโยชน์ของบ้านเมืองทางฝ่ายพลเรือน ทหารเปนเครื่องรักษาผลประโยชน์ในการอุกฉกรรจ์ กำลังทั้งสองฝ่ายนี้เมื่อพร้อมจึงนับว่าเปนกำลัง ถ้าขาดฝ่ายหนึ่งก็ไม่เป็นองค์ การฟิแนนซ์เมืองของเราเหมือนกับน้ำขังอยู่ในสระ มีคลองไหลเข้าออกอยู่ ๒ ทาง คือคลองใหญ่ของอังกฤษ และลำหลอดเล็กของฝรั่งเศส ซึ่งเจ้าของทั้งสองอาจปิดเสียให้น้ำเน่าได้ง่าย...
” แต่ต่อมาทรงเห็นว่าการดำเนินการดังกล่าวจะมีอุปสรรคมาก โดยเฉพาะขาดความร่วมมือจากที่ปรึกษาการคลังของประเทศซึ่งเป็นชาวอังกฤษในขณะนั้น ด้วยเหตุผลว่า
“...เรื่องแบงก์กิงจะคิดกับพวกอังกฤษคงไม่มีทางสำเร็จเพราะเปนการผิดทางที่เขาเปนคนกับทั้งเปนข้าราชการของอังกฤษ ซึ่งจำต้องรักษาผลประโยชน์ของอังกฤษเปนธรรมดา ... รู้สึกว่าเขาไม่อยากให้เรามีกำลังที่จะตัดผลประโยชน์ในธุระของชาติเขา...แลร้องว่าในประเทศอินเดีย รัฐบาลก็หาได้ตั้งแนชนัลแบงก์ไม่...”
ดังนั้นจึงทรงระงับการจัดตั้งธนาคารกลางไว้ก่อน คงทรงดำเนินการแต่เรื่องการออกธนบัตรรัฐบาลกระทั่งมีการก่อตั้ง “กรมธนบัตร” ขึ้น โดยในกลางปี พ.ศ. ๒๔๔๕ รัฐบาลได้มีหนังสือแจ้งให้ธนาคารพาณิชย์ทั้ง ๓ แห่ง
ให้ถอนคืนบัตรธนาคารออกจากระบบเงินตรา เพราะต้องการนำธนบัตรที่เป็นของรัฐบาลเองออกใช้ในวันที่ ๒๓ กันยายน พ.ศ. ๒๔๔๕ และมีพระบรมราชโองการให้ตรา “พระราชบัญญัติธนบัตรสยาม ร.ศ. ๑๒๑” ขึ้น ประกาศ ณ วันที่ ๒๔ มิถุนายน พ.ศ. ๒๔๔๕ โดยมูลเหตุว่า
จึ่งทรงพระกรุณาโปรดเกล้าฯ ให้เจ้าพนักงานกระทรวงพระคลังมหาสมบัติ จัดทำตั๋วสำคัญที่ใช้แทนเงิน เรียกว่า ธนบัตร์ขึ้น เพื่อรับแลกเงินของประชาชนเก็บรักษาไว้ แลจำหน่ายธนบัตร์ให้ออกใช้จ่ายแทนเงิน เพื่อสดวกต่อการนับแลตรวจตรา หรือจะพาไปมาก็ง่ายกว่าที่จะขนเงินอันมีจำนวนมากไปนั้น ...โดยกำหนดให้จัดเก็บ เงินทุนสำรองธนบัตรออกใช้ และให้จัดตั้ง กรมธนบัตร กระทรวงพระคลังมหาสมบัติ ขึ้นเมื่อวันที่ ๑๙ กันยายน พ.ศ. ๒๔๔๕ ปรากฏว่าภายหลังพิธีเปิด บรรดาพระบรมวงศานุวงศ์และข้าราชการก็ได้นำเงินมาแลก ธนบัตร เป็นปฐมฤกษ์ ครั้นถึงสิ้นปีนั้น ธนบัตรของรัฐบาลได้เพิ่มขึ้นอย่างรวดเร็วจนมีปริมาณออกใช้หมุนเวียนเพียงพอ แสดงให้เห็นว่า วงการค้าและประชาชนได้ให้ความสนใจในธนบัตรของรัฐบาลอย่างดียิ่ง นับว่าธนบัตรได้เข้ามามีบทบาทในระบบการเงินของไทยอย่างจริงจัง ตั้งแต่ปี พ.ศ. ๒๔๔๕ เป็นต้นมา การตั้งทุนสำรองธนบัตรออกใช้ในครั้งนี้จึงเป็นการขยายความหมายของ “ทุนสำรอง” นอกจากจะเก็บรักษาไว้เพื่อเป็นหลักประกันชาติเหมือนเมื่อครั้ง “เงินถุงแดง” แล้ว ยังเป็นการเก็บรักษาเพื่อรองรับการใช้ธนบัตรอีกด้วย ซึ่งย่อมทำให้พ่อค้าประชาชนมีความเชื่อมั่นว่าธนบัตรทุกฉบับ มีเงินตราหนุนหลังอยู่จริง
นอกจากนั้นด้วยผลของกฎหมายฉบับนี้ยังทำให้ “เงินกระดาษหลวง” และ “บัตรธนาคาร” ได้ถูกยกเลิกไปด้วย แต่โดยที่มีการใช้ “บัตรธนาคาร” นานกว่า ๑๓ ปี จึงสร้างความเคยชินให้คนไทยเรียกธนบัตรติดปากว่า “แบงก์” มาตลอดจนถึงทุกวันนี้ จึงเห็นได้ว่า ความดำริที่จะใช้เงินกระดาษแทนเงินเหรียญ ได้มีมาก่อนแล้วในสมัยรัชกาลที่ ๔ และมีผลสมบูรณ์ในสมัยรัชกาลที่ ๕
สำหรับแนวคิดในการจัดตั้ง “ธนาคารกลาง” ของพระเจ้าบรมวงศ์เธอ กรมหมื่นมหิศรราชหฤทัย ที่ถูกระงับไปก่อนเนื่องจากที่ปรึกษาการคลังชาวอังกฤษไม่เห็นด้วยและไม่ให้การสนับสนุน แต่ด้วยตระหนักถึงความยากลำบากของคนไทย และพ่อค้าชาวจีนที่ไม่ได้รับความสะดวกจากธน
าคารต่างประเทศในไทยเท่าที่ควร จึงทรงมุ่งมั่นในการจัดตั้ง “ธนาคารพาณิชย์ของไทย” ขึ้น เพื่อจะได้เป็นกำลังในการตั้งธนาคารของชาติขึ้นได้ในเวลาต่อไป ด้วยเหตุนี้การทดลองตั้งกิจการธนาคารในชื่อว่า “บุคคลัภย์” (Book Club) จึงเปิดทำการขึ้นในวันที่ ๔ ตุลาคม พ.ศ. ๒๔๔๗ ที่ตึกแถวของพระคลังข้างที่ ใช้ทุนดำเนินการ ๓ หมื่นบาทจากเงินส่วนพระองค์ 
ดังนั้นเพื่อป้องกันมิให้ชาติตะวันตกใช้ความไม่พอใจนี้เป็นข้ออ้างในการบีบบังคับทางการเมืองต่อไทยดังเช่นเรื่อง “เงินถุงแดง” กับทั้งเพื่อยุติการขัดขวางความพยายามในการก่อตั้งธนาคารพาณิชย์ของคนไทย กรมหมื่นมหิศรราชหฤทัยจึงทรงตัดสินพระทัยเสียสละโดยขอลาออกจากตำแหน่งเสนาบดีกระทรวงพระคลังมหาสมบัติ เมื่อวันที่ ๒๔ พฤษภาคม พ.ศ. ๒๔๔๙ ด้วยทรงเห็นแก่ประโยชน์ส่วนรวมเป็นสำคัญ ส่งผลให้การบีบคั้นกดดันจากอังกฤษและฝรั่งเศสที่มีต่อไทยมาตลอด ๑ ปี จึงยุติลงได้ในที่สุด
