Sjukhuset byggs mellan åren 1774 och 1776 och är till för både officerare och manskap dock i separata rum. Läkekonsten är föga utvecklad och blödningar stoppas med brännjärn och smärtan dämpas med opium och alkohol. Den 8 augusti 1842, bestäms att alla, genom ålder och sjuklighet mindre arbetsföra livstidsfångar vid landets andra fästningsfängelser, skall föras till Nya Älvsborg. Nya Älvsborg ska nu i alltså i praktiken bli ett slags sjuk- och åldersdomhem för landets fästningsfångar, men hinner inte fungera i denna funktion så många år. Den 10 oktober 1866 transporteras 77 av de 78 fångarna till fängelset i Karlskrona. Den fånge som får stanna kvar, hade suttit på Nya Älvsborg i 48 år för kyrkostöld och får av humanitära skäl stanna kvar hos en kamrersfamilj som bor på fästningen. Han får dock bara njuta sin nyvunna frihet några dagar, innan han avlider. 

Den näraliggande ön, Stora Aspholmen används som kyrkogård, och i slottsförsamlingens dödsbok anges den första begravningen där den 23 februari 1690. Endast i undantagsfall, och vid begravning av någon av fästningens överbefäl, förs den avlidne in till Göteborg för begravning. Kyrkogården på Stora Aspholmen används i huvudsak för att begrava fångar, och personer i underordnad ställning inom garnisonen. På 1700-talet finns det också ett sillsalteri på Stora Aspholmen.