Ζεσταίνουμε το ελαιόλαδο σε ένα τηγάνι, προσθέτουμε το κρεμμύδι και το chilli τα σoτάρουμε για 2-3 λεπτά.
Προσθέτουμε το χαλούμι για άλλα 2-3 λεπτά μέχρι να αποκτήσει ωραίο χρυσαφί χρώμα.
Βράζουμε τις penne και τις προσθέτουμε στο τηγάνι μαζί με τα μυρωδικά και το χυμό λεμονιού. Τα ανακατεύουμε όλα και σερβίρουμε σε ένα μεγάλο μπολ.