Στην ηλικία των 39 ετών, ο Joe Clark έγινε ο νεότερος Πρωθυπουργός του Καναδά το 1979. Ένα δημοσιονομικό συντηρητικό, Joe Clark, και του κυβέρνηση μειοψηφίας είχαν νικήσει μετά από μόλις εννέα μήνες στην εξουσία σε μια κίνηση μη εμπιστοσύνης με προϋπολογισμό αυξήσεων φόρων και περικοπές προγραμμάτων.
Μετά την απώλεια των εκλογών του 1980, ο Joe Clark παρέμεινε ως ηγέτης της αντιπολίτευσης. Όταν ο Brian Mulroney ανέλαβε καθήκοντα ηγέτη του Προοδευτικού Συντηρητικού Κόμματος του Καναδά το 1983 και στη συνέχεια Prime Υπουργός το 1984, ο Joe Clark συνέχισε ως αποτελεσματικός Υπουργός Εξωτερικών Σχέσεων και Υπουργός Συνταγματικών Υποθέσεων Υποθέσεων. Ο Τζο Κλάρκ έφυγε από την πολιτική το 1993 για να εργαστεί ως διεθνής σύμβουλος επιχειρήσεων, αλλά επέστρεψε ως ηγέτης του Προοδευτικού Συντηρητικού Κόμματος από το 1998 έως το 2003.
Ο Joe Clark ξεκίνησε την πολιτική του καριέρα ως Διευθυντής Οργανισμού για το Προοδευτικό Συντηρητικό Κόμμα της Αλμπέρτα από το 1966 έως το 1967. Υπήρξε Ειδικός Βοηθός ενός συντηρητικού μέλους του κοινοβουλίου Davie Fulton το 1967. Υπηρέτησε ως εκτελεστικός βοηθός του συντηρητικού μέλους του κοινοβουλίου Robert Stanfield από το 1967 έως το 1970.
Ο Τζο Κλάρκ εκλέχτηκε για πρώτη φορά στη Βουλή των Κοινοτήτων το 1972. Εκλέχτηκε ως ηγέτης του Προοδευτικού Συντηρητικού Κόμματος του Καναδά το 1976 και ήταν ηγέτης της αντιπολίτευσης μέχρι το 1979. Ο Joe Clark ορκίστηκε ως πρωθυπουργός του Καναδά μετά τις γενικές εκλογές του 1979.
Η συντηρητική κυβέρνηση νικήθηκε το 1980. Ο Joe Clark ήταν και πάλι ηγέτης της αντιπολίτευσης από το 1890 έως το 1983. Ο Joe Clark κάλεσε μια συνδιάσκεψη ηγεσίας του Προοδευτικού Συντηρητικού Κόμματος και έχασε την ηγεσία του κόμματος στον Brian Mulroney το 1983.
Στην κυβέρνηση Mulroney, ο Joe Clark υπηρέτησε ως Υπουργός Εξωτερικών από το 1984 έως το 1991. Διετέλεσε Πρόεδρος του Ιδιωτικού Συμβουλίου και Υπουργός Υπεύθυνων Συνταγματικών Υποθέσεων από το 1991 έως το 1993. Ο Joe Clark δεν διεξήχθη στις γενικές εκλογές του 1993.
Ο Joe Clark επέστρεψε ως ηγέτης του Προοδευτικού Συντηρητικού Κόμματος του Καναδά το 1998. Επανεκλέχθηκε στη Βουλή των Κοινοτήτων το 2000. Το 2002, ο Joe Clark δήλωσε ότι είχε μεταφέρει το Προοδευτικό Συντηρητικό Κόμμα στο μέτρο του δυνατού. Η παραίτηση του Joe Clark ως ηγέτη του Προοδευτικού Συντηρητικού Κόμματος ήταν αποτελεσματική κατά τη σύνοδο ηγεσίας το Μάιο του 2003.