Если ваша база данных уже перенесена в SQL Azure, то да, все, что вам нужно, это изменить строку подключения и открыть брандмауэр SQL Azrure, чтобы разрешить вашим клиентам доступ к БД (это можно сделать на портале).
Однако, хотя SQL Azure очень близок к SQL Server, это не совсем то же самое.В этой статье можно найти множество ссылок на официальные варианты, или вы можете попробовать запустить Мастер миграции SQL Azure