1313 m. kryžiuočių ordino metraštininkas Petras Dusburgietis pirmą kartą rašytiniuose šaltiniuose paminėjo Skirsnemunę. Miestelio apylinkėse buvo lietuvių ir kryžiuočių pilių: į rytus nuo Nemuno dešiniajame krante buvo Bisenos pilis, o kairiajame, netoli Skirsnemunės, kryžiuočiai pastatė Christmemelio pilį.
Toje pačioje kronikoje sakoma, kad 1328 metais Skirsnemunėje taip stipriai sudrebėjo žemė, kad rodėsi, jog sugrius Skirsnemunės pilis, o kryžiuočių vienuoliai išsigandę jau ruošėsi šokti nuo pilies bokšto.
Lenkijos karalius ir Lietuvos Didysis kunigaikštis Jogaila Skirsnemunėje, Kristmemelio pilyje 1383 metais birželio 19 dieną susitiko su kryžiuočių ordino magistru. Čia Jogaila su savo broliais turėjo būti pakrikštytas, bet paskutiniu momentu atsisakė.
1431 metais birželio 19 d Skirsnemunėje Kristmemelio pilyje įvyko Teutonų ordino didžiojo magistro ir Lietuvos didžiojo kunigaikščio Švitrigailos susitikimas. Tarp Lietuvos ir Ordino sudaryta gynybos bei puolimo sąjunga. Po metų ta sąjunga patvirtinta taip pat Skirsnemunėje.
Šalia Skirsnemunės – Šilinės smuklė. Tai XVIII a. vidurio statinys, liaudies architektūros paminklas. Šiuo metu Šilinės smuklėje įsikūrusi Panemunių regioninio parko direkcija, taip pat įkurta ekspozicija, supažindinanti su žvejybos Nemune ypatumais, bei gamtos mokykla. Ekspozicija paremta senų panemunių gyventojų teiginiu, jog Nemunas maitina, šildo ir rengia. „Maitina“ – nuo seno Nemuno upėje buvo gaudoma žuvis, kuri maitino panemunės žmones, išsiliejęs Nemunas patręšdavo lankas, kuriose užaugdavo vešli žolė ir gausus derlius. „Šildo“ – Nemunas per pavasarinį ledonešį į krantus atplukdydavo įvairių medžių, kuriuos gyventojai valtimis parsigabendavo prie namų, išdžiovindavo ir per žiemą kūrendavo. „Rengia“ – Nemune buvo gaudomi įvairūs švelniakailiai gyvūnai, kuriuos pardavę gyventojai gaudavo pinigų drabužiams įsigyti. Šalia Šilinės smuklės auga graži ąžuolų giraitė (ąžuolynė).
Rašytiniuose šaltiniuose smuklė minima 1795 metais, kur buvusi karčiama priklausė Eperješų, o vėliau Gelgaudų pilies dvarui. Keičiantis savininkams bei nuomininkams pastato paskirtis nekito – čia visuomet buvo galima sustoti pailsėti ir užkąsti. Iki mūsų dienų smuklė mažai pasikeitė. Po pastato restauracijos jame įsikūrė Panemunių regioninio parko direkcija ir gamtos mokykla. Pastate įrengtos šio krašto gamtą ir buitį pristatančios ekspozicijos. Atvykstantys turistai supažindinami su žvejybos Nemune ypatumais, dėmesį patraukia parke gyvenančių žvėrių pėdsakų stendas.