Вы можете сделать:
String username="abc";
String pwd="abc";
String query="Select username,pwd where username = ? and pwd = ?";
query = query.replaceFirst("\\?", username);
query = query.replaceFirst("\\?", pwd);
но если вы делаете это для фактического db-запроса, вы захотите использовать подготовленные операторы:
например.
String username="abc";
String pwd="abc";
String query="Select username,pwd where username = ? and pwd = ?";
PreparedStatement pStmt = con.prepareStatement(query);
pStmt.setParameter(1, username);
pStmt.setParameter(2, pwd);
ResultSet rs = pStmt.executeQuery();