La casa della gemma, così chiamata perché al suo interno venne ritrovato un gioiello di epoca claudia, era originariamente unita alla casa del Rilievo di Telefo ed il complesso apparteneva a Marco Nonio Balbo: le due abitazioni vennero poi separate durante il periodo augusteo. Diversi lavori di restauro furono effettuati in epoche diverse.
La casa è costruita su due livelli e affaccia sulle Terme Suburbane. Il suo ingresso presenta affreschi in terzo stile con pannelli in rosso e pavimentazione in nero con inserti di marmi policromi. L’atrio ha delle decorazione parietale è in rosso, mentre il pavimento è a mosaico con tessere in bianco e nero, bordato in bianco. in questa casa vennero rinvenuti diversi vasi in vetro, un sigillo in bronzo ed una culla in legno con all’interno i resti di un bambino, mentre da altre zone della casa provengono due lastre in marmo che raffigurano una Ercole che combatte l’Idra di Lerna e l’altra una sfinge con corona egizia.