A mai Pannonia Hotel helyén álló Szarvas fogadó létéről 1676 óta tudunk. Ebben az évben jutott a város birtokába: Pásztory polgármester cserélte el az Arany angyal fogadó ellenében. Új tulajdonosa a jó reménység fejében Arany szarvasnak nevezte el, ám sajnos nem sok aranyat szerzett a városnak. Mindjárt 1676-ban a hírhedt nagy tűz alkalmával elhamvadt. Újjáépülte után a kuruc ostrom idején, 1705-ben vált ismét a lángok martalékává.

A soproni vendéglősök közül elsőnek az Arany szarvas Posch Károly nevű vendéglőse írt magyar étlapot 1873-ban. 1882-ben volt a vendéglőnek egy nagyhírű vendége: Johann Strauss, a keringőkirály, aki 1882-ben inkognitóban Sopronba jött nászútra. Egy este az ifjú pár betért vacsorázni az Arany szarvasba. Munczy Lajos, a híres cigányprímás felismerte Strausst, és magyar népdalokból hirtelen átváltott a Kék Duna keringőre. A közönség megéljenezte a neves zeneszerzőt, de attól fogva szerenád és üdvözlés egymást érte, így a fiatal pár hamar elmenekült Sopronból.

Sopron törvényhatósági bizottsága 1890 szeptember 25-i közülésén kinyilatkoztatta, hogy az “Arany szarvas jelenlegi minőségében korántsem felel meg azon igényeknek, melyek Sopron sz. kir. város rangjának méltó szálloda tekintetében joggal támaszthatók és ezért egy új … hotelnek létesítése nemcsak felette kívánatosnak, hanem mint az idegenek forgalmának városunk gyarapodására nézve fontosságú emelésének egyik alapfeltétele, múlhatatlanul szükségesnek jelentkezik…”.

A várost 1944-ben ért szőnyegbombázás után csak a Pannónia maradt épen Sopron szálláshelyeiből. Még az ötvenes évek elején is egyedüli szállodaként működött.

Még az ötvenes évek elején is egyedüli szállodaként működött, az akkori Lenin krt 75 szám alatt. A szocialista éra második felében a HungarHotels üzemeltette változatlan néven.