Pilionių piliakalnis, dar vadinamas Piliuku ar net Švedkapiu, stūkso netoli Mateikiškių kaimo, tarp Želvos ir Šešuolių. Tai valstybės saugomas kultūros paveldo objektas, datuojamas I tūkst. pr. Kr. pabaiga – I tūkst. pradžia. Piliakalnio papėdėje kadaise buvo gyvenvietė, o XIX amžiuje ant kalvos veikė kapinės, kuriose laidoti Pilionių ir Mateikiškių kaimų gyventojai.
Įdomu tai, kad ilgus dešimtmečius Pilionių piliakalnis buvo tapatinamas su legendiniais Pilėnais – vieta, kur lietuviai narsiai priešinosi kryžiuočiams ir, užklupus nelaimei, patys pasirinko mirtį, kad nepakliūtų į priešų rankas. Nors šiuolaikiniai tyrimai šią versiją paneigia, pati vieta vis dar alsuoja didvyriškumo dvasia ir traukia istorijos mėgėjus
Ant piliakalnio galima aptikti akmenį su užrašu lenkų kalba. Tai – vienas iš XIX amžiuje čia veikusių kapinių ženklų: mat ant šios kalvos buvo laidojami vietiniai gyventojai, o užrašai ant paminklų dažnai būdavo lenkų kalba, kaip to meto tradicijose. Šis akmuo – tarsi nebylus liudininkas, kad ant piliakalnio gyvenimas virė ne tik priešistoriniais laikais, bet ir vėliau, kai čia buvo kapinės ir vietos bendruomenės susibūrimo vieta.