Рубин пришел в Google одновременно с приобретением поисковым гигантом в 2005 году стартапа под названием Android Inc. — занимающегося разработкой одноименного программного обеспечения для смартфонов. Рубин был одним из основателей компании и стоял у истоков создания платформы Android.
После того как компания перешла в собственность Google, Рубин сыграл важную роль в развитии Android. Также Рубин добился того, чтобы отдел по разработке Android был полностью самостоятельным: от инженеров до собственной столовой в кампусе Google.
В 2012 году Рубин сыграл важную роль во время судебного разбирательства по иску Oracle. Тогда компания обвинила Google в нарушении авторских прав на код Java в виртуальной машине Android.
Рубин покинул свой пост в Android в марте 2013 года и стал инициатором создания отдела робототехники, а его место занял Сундар Пичаи, которого многие считают более открытым, готовым к сотрудничеству топ-менеджером, который в лучшей степени подходит для расширения экосистемы партнеров Google.
По данным некоторых источников, уход Рубина из Google связан с тем обстоятельством, что компания не поощряла его предпримательские амбиции. В то же время сам Рубин опроверг эти сведения, заявив, что в Google ничто не ограничивало его независимость.
Как пишет The Wall Street Journal, теперь Рубин планирует открыть инкубатор для стартапов в области аппаратных технологий.