Если вам нужны различные web.config для разных типов сборок (Release, Debug), то хорошим решением будет использовать технологию Web.config Transformation.
Суть в том, что вы создаёте базовый web.config, а потом создаёте файл трансформации для него под каждый тип сборки.
web.config и его трансформации
Поиграться с трансформациями можно с мощью севриса webconfigtransformationtester.apphb.com.
В Visual Studio можно кликнуть на файл трансформации и выбрать в меню опцию Preview Transformation.
Например, так выглядит трансформация с изменением параметра в connection string:
web.config:<?xml version="1.0"?>
<configuration>
<connectionStrings>
<add name="cstr" connectionString="Data Source=./sqlexpress;Initial Catalog=myDevelopDB;Persist Security Info=True;User ID=sa;Password=123;" providerName="System.Data.SqlClient"/>
</connectionStrings>
</configuration>
web.Release.config:
<?xml version="1.0"?>
<configuration xmlns:xdt="http://schemas.microsoft.com/XML-Document-Transform">
<connectionStrings>
<add xdt:Transform="Replace" xdt:Locator="Match(name)" name="cstr" connectionString="Data Source=(local);Initial Catalog=ProdDB;Persist Security Info=True;User ID=sa;Password=12345;" providerName="System.Data.SqlClient" />
</connectionStrings>
</configuration>