En 1910, il devient directeur du premier cinéma de Milledgeville mais l'envie de passer derrière la caméra se fait de plus en plus pressante car il estime être au moins aussi bon comédien que les acteurs qu'il découvre dans les films qu'il projette. Il décide donc de mettre la clé de son cinéma sous la porte en 1913 et part pour Jacksonville en Floride où il va assister à des tournages de films. Lors d'un de ses numéros de chant et de danse dans un cabaret, il est remarqué par Edwin Carewe et Irma Hawley de la compagnie cinématographique Lubin qui cherchent précisemment un acteur de forte carrure pour tourner dans une de leurs productions. C'est ainsi qu'Oliver fait ses débuts devant la caméra dans des rôles de gros méchants, une image à l'opposé de son caractère doux et gentil.
C'est à, cette époque qu'il hérite également du surnom Babe. En effet, un coiffeur italien aimait à le flatter en l'appelant familièrement "baby" qui naturellement fut abrégé en "babe". Les intimes continuèrent d'ailleurs à l'appeler "Babe" toute sa vie durant. En 1916, Oliver rencontre Myrtle Lee qu'il épousera cinq ans plus tard. Entre temps il devient membre de la loge maçonnique de Salomon à Jacksonville et en 1917 Oliver Hardy est à New York alors que les Etats Unis entrent en guerre. Il se présente au bureau de recrutement pour s'engager mais on se moque de lui. Il en gardera une profonde humiliation qui ne fera qu'accentuer le peu de sympathie qu'il éprouve pour "Big apple". Il retourne à Jacksonville et au cinéma jouant en 1918 dans le film Lucky dog aux côtés d'un certain Stan Laurel.
Fin 1918 Oliver part en Californie travailler chez Vitagraph où il rencontrera Semon dont il deviendra l'assistant jusqu'au début de 1926. Ceci ne l'empêche pas de tourner également pour le producteur Hal Roach avec lequel il signera en février 1926 un contrat d'exclusivité. C'est l'époque où un certain Stan Laurel le remplace dans le rôle de maître d'hôtel qu'il devait interpréter dans Get 'Em Young car, la veille du tournage Oliver s'était gravement brûlé à l'avant-bras en faisant des grillades ! Finalement il retrouvera devant la caméra de Slipping Wives celui qu'il avait côtoyé quelques temps plus tôt dans Duck soup.
Après leur dernier film Atoll K tourné en 1951 sous la direction du metteur en scène français Léo Joannon et du réalisateur américain John Berry, des ennuis de santé empêchent Oliver et Stan de donner suite à la proposition du fils de Hal Roach de tourner une série pour NBC. Le contrat avait été signé après le passage des deux compères dans la célèbre émission This is your life de Ralph Edwards le 2 décembre 1954. Un premier malaise cardiaque suivi d'une deuxième alerte en 1955 frappent Oliver Hardy qui devrait subir une opération à la vésicule biliaire mais à laquelle son médecin renonce en raison de l'état du cœur de son patient. Contraint de suivre un régime sévère, Oliver est à nouveau victime d'un crise cardiaque le 12 septembre 1956 qui nécessite son admission dans le coma à la clinique Saint Joseph de Burbank (Californie). Atteint d'une hémiplégie du côté droit il ne peut pratiquement plus parler et décède le 7 août 1957 à son domicile.