Z počátku 17. st. jsou známa jména některých nájemců. V roce 1621 je uváděn Adam Proud mlynář z dolního mlýna. V roce 1630 mlynář Michal Šlégr odváděl vrchnosti 8 vepřů po 12 zlatých. V urbáři českodubského panství je v roce 1657 zmínka o Václavu Niklovi mlynáři pod zámkem, který platil pronájem za tři a půl provazce louky pod Brousky na sv. Havla. Mlynář Václav Nikl měl v roce 1662 dostat peníze od Martina Krauzy primátora města Dubu. Václav Nikl se jako kmotr zúčastnil křtu syna Václava zourovského mlynáře Häbela Sauera. Obřad se uskutečnil 31. 8. 1670 v kostele ve Svébořicích. Ve svébořické matrice je jeho jména zapsáno jako Václav Nieikel mlynář ze mlýna v Českém Dubu. (MH)
Dalším v pořadí byl Ferdinand Horn, který měl mlýn nejprve v nájmu v roce 1735 a vrchnosti platil 31 zlatých. 15. července 1737 mlýn od vrchnosti, kláštera sv. Jakuba ve Vídni, koupil za 1000 kop. V roce 1753 ho prodal za 1200 zlatých bývalému městskému písaři Janovi Wehlemu. Jeho dcera Dorota se v říjnu 1757 provdala za Antonína Rigla, syna zemřelého podvicmanského mlynáře Karla Rigla, který se tímto přiženil na mlýn v Českém Dubu. Antonín však zemřel již v prosinci 1759 ve věku 27 let. Vdova po Antonínu Dorota se znovu provdala, a to v roce 1761 za Ferdinanda Schwarze. Rod Schwarzů pak vlastnil mlýn od roku 1761 až do začátku 20. st. V roce 1796 převzal živnost od otce za 8000 zlatých Ferdinand Schwarz mladší, narozený v roce 1769. Oženil se s Magdalenou Riegelovou, dcerou kovářského mistra z Dolního Předměstí. Jejich syn Ferdinand, budoucí mlynář, se narodil 1. 6. 1804. Kromě něj měli ještě syna Josefa (1813) a dceru Aloisii (1814). Třetí Ferdinand Schwarz se ujal mlýna v roce 1835, zaplatil za něj 8000 zlatých. V únoru 1841 se oženil s Marií Riegelovou, dcerou Johanna Václava Riegela z Dolního Předměstí. V letech 1842 až 1847 se jim narodily 4 děti, Emanuel Ferdinand (1842), Marie (1843), Rudolf (1845) a Ferdinand (1847). Mlynář zemřel 13. 8. 1848 ve 44 letech na úplavici. (MH)