Среднее время по Java

Question

У меня есть текстовый файл:

DATE 20090105
1 2.25 1.5
3 3.6 0.099
4 3.6 0.150
6 3.6 0.099
8 3.65 0.0499
DATE 20090105
DATE 20090106
1 2.4 1.40
2 3.0 0.5
5 3.3 0.19
7 2.75 0.5
10 2.75 0.25
DATE 20090106
DATE 20090107
2 3.0 0.5
2 3.3 0.19
9 2.75 0.5
DATE 20100107

На каждый день у меня есть:

Time Rating Variance

Я хочу рассчитать среднюю дисперсию в определенное время на самой большой временной шкале.

Файл массивный, и это всего лишь небольшой отредактированный образец. Это означает, что я не знаю самое позднее и самое раннее время (около 2600), а самое последнее время может быть около 50000.

Так, например, во все дни у меня есть только 1 значение в момент времени t = 1, следовательно, это средняя дисперсия в то время.

В момент времени t = 2, в первый день дисперсия в момент времени t = 2 принимает значение 1,5, поскольку она сохраняется до момента времени t = 3, во второй день она принимает значение = 0,5, а в третий день она принимает значение ( (0,5 + 0,18) / 2). Таким образом, среднеквадратическая дисперсия за все дни в момент времени t = 2 является суммой всех дисперсий в это время, деленная на количество различных дисперсий в это время.

В последний раз за день масштаб времени равен t = 1.

Мне просто интересно, как я мог бы пойти на это.

Как начинающий, я нахожу это довольно сложным. Я студент Uni, но университет закончен, и я пытаюсь выучить Java, чтобы помочь с моим бизнесом пап в течение лета. Поэтому любая помощь в отношении решений очень ценится.

Answer 1

Хорошо, у меня есть код, который работает.Но это занимает очень много времени (около 7 месяцев в день, с 30 000 различий в день), потому что оно должно повторяться много раз.Есть ли другие лучшие предложения?

Я имею в виду, что этот код, для чего-то простого, займет около 24-28 часов ...

package VarPackage;

import java.io.BufferedReader;import java.io.FileReader;import java.util.ArrayList;

открытый класс ReadText {

public static void main(String[] args) throws Exception {
    String inputFileName="C:\\MFile";


    ArrayList<String> fileLines = new ArrayList<String>();
    FileReader fr;
    BufferedReader br;

    // Time
    int t = 1;


    fr = new FileReader(inputFileName);
    br = new BufferedReader(fr);
    String line;


    while ((line=br.readLine())!=null) {
     fileLines.add(line);
    }

    AvgVar myVar = new AvgVar(fileLines);

    for(t=1; t<10; t++){ 
    System.out.print("Average Var at Time t=" + t + " = " + myVar.avgVar(t)+"\n");

}

}}

===================================

NewClass

пакет VarPackage;

импорт java.util.ArrayList;

открытый класс AvgVar {// переменные класса private ArrayList inputData = new ArrayList ();

// Конструктор AvgVar (ArrayList fileData) {inputData = fileData;}

public double avgVar(int time){

 double avgVar = 0;

 ArrayList<double[]> avgData = avgDuplicateVars(inputData);

 for(double[] arrVar : avgData){
 avgVar += arrVar[time-1];
 //System.out.print(arrVar[time-1] + "," + arrVar[time] + "," + arrVar[time+1] + "\n");
 //System.out.print(avgVar + "\n");
 }

 avgVar /= numDays(inputData);

 return avgVar;
}

private int numDays(ArrayList<String> varData){

 int n = 0;
 int flag = 0;

для (строка строки: varData) {

String[] myData = line.split(" ");

if(myData[0].equals("DATE") && flag == 0){

    flag = 1;

   }
   else if(myData[0].equals("DATE") && flag == 1){

    n = n + 1;
    flag = 0;

   }

}

return n;

}

private ArrayList<double[]> avgDuplicateVars(ArrayList<String> varData){

 ArrayList<double[]> avgData = new ArrayList<double[]>();

 double[] varValue = new double[86400];
 double[] varCount = new double[86400];

 int n = 0;
 int flag = 0;

для (строка iLine: varData) {

String[] nLine = iLine.split(" ");
   if(nLine[0].equals("DATE") && flag == 0){

    for (int i=0; i<86400; i++){
    varCount[i] = 0;
    varValue[i] = 0;
    }

    flag = 1;

   }
   else if(nLine[0].equals("DATE") && flag == 1){

    for (int i=0; i<86400; i++){
    if (varCount[i] != 0){
    varValue[i] /= varCount[i];
    }
    }

    varValue = fillBlankSpreads(varValue, 86400);

    avgData.add(varValue.clone());

    flag = 0;

   }
   else{

    n = Integer.parseInt(nLine[0])-1;

    varValue[n] += Double.parseDouble(nLine[2]);
    varCount[n] += 1;

   }

}

return avgData;

}

private double[] fillBlankSpreads(double[] varValue, int numSpread){
//Filling the Data with zeros to make the code faster
 for (int i=1; i<numSpread; i++){
 if(varValue[i] == 0){
 varValue[i] = varValue[i-1];
 }
 }

 return varValue;
}

}

Answer 2

Если я вас правильно понимаю, вы после скользящей средней, рассчитанной на поток данных. Следующий класс, который я написал, предоставляет такую ​​статистику.

• скользящее среднее
• среднее значение затухания (отражает среднее значение за последние несколько выборок на основе коэффициента затухания).
• движущаяся дисперсия
• затухающая дисперсия
• мин и макс.

Надеюсь, это поможет.

/**
 * omry 
 * Jul 2, 2006
 * 
 * Calculates:
 * 1. running average 
 * 2. running standard deviation.
 * 3. minimum
 * 4. maximum
 */
public class Statistics
{
    private double m_lastValue;
    private double m_average = 0;
    private double m_stdDevSqr = 0;

    private int m_n = 0;
    private double m_max = Double.NEGATIVE_INFINITY;
    private double m_min = Double.POSITIVE_INFINITY;

    private double m_total;

    // decay factor.
    private double m_d;
    private double m_decayingAverage;
    private double m_decayingStdDevSqr;

    public Statistics()
    {
        this(2);
    }

    public Statistics(float d)
    {
        m_d = d;
    }

    public void addValue(double value)
    {
        m_lastValue = value;
        m_total += value;

        // see http://en.wikipedia.org/wiki/Algorithms_for_calculating_variance
        m_n++;
        double delta = value - m_average;
        m_average = m_average + delta / (float)m_n;
        double md = (1/m_d);
        if (m_n == 1)
        {
            m_decayingAverage = value;
        }
        m_decayingAverage = (md * m_decayingAverage + (1-md)*value);

        // This expression uses the new value of mean
        m_stdDevSqr = m_stdDevSqr + delta*(value - m_average);

        m_decayingStdDevSqr = m_decayingStdDevSqr + delta*(value - m_decayingAverage);

        m_max = Math.max(m_max, value);
        m_min = Math.min(m_min, value);     
    }

    public double getAverage()
    {
        return round(m_average);
    }

    public double getDAverage()
    {
        return round(m_decayingAverage);
    }   

    public double getMin()
    {
        return m_min;
    }

    public double getMax()
    {
        return m_max;
    }

    public double getVariance()
    {
        if (m_n > 1)
        {
            return round(Math.sqrt(m_stdDevSqr/(m_n - 1)));
        }
        else
        {
            return 0;
        }
    }


    public double getDVariance()
    {
        if (m_n > 1)
        {
            return round(Math.sqrt(m_decayingStdDevSqr/(m_n - 1)));
        }
        else
        {
            return 0;
        }
    }

    public int getN()
    {
        return m_n;
    }

    public double getLastValue()
    {
        return m_lastValue;
    }

    public void reset()
    {
        m_lastValue = 0;
        m_average = 0;
        m_stdDevSqr = 0;
        m_n = 0;
        m_max = Double.NEGATIVE_INFINITY;
        m_min = Double.POSITIVE_INFINITY;
        m_decayingAverage = 0;
        m_decayingStdDevSqr = 0;
        m_total = 0;
    }

    public double getTotal()
    {
        return round(m_total);
    }

    private double round(double d)
    {
        return Math.round((d * 100))/100.0;
    }
}

Answer 3

Я думаю, что понимаю.Вы хотите

1. найти среднюю дисперсию в данный момент времени t в каждый день, которая определяется самой высокой отметкой времени в этот день, которая меньше t
2. разобраться со случаями, когда несколько показаний одновременно усредняют их.
3. найти среднюю дисперсию по всем дням за время t

Поэтому я бы предложил, как только вы проанализируетезатем данные, предложенные @Manjoor, (псевдокод!)

function getAverageAt(int t)
  float lastvariance = 0; // what value to start on, 
                        // if no variance is specified at t=1 on day 1
                        // also acts as accumulator if several values at one 
                        // timestamp
  float allDaysTotal = 0; // cumulative sum of the variance at time t for all days
  for each day {
    float time[], rating[], variance[];
    //read these from table
    int found=0; //how many values found at time t today
    for(int i=0;i<time.length;i++){
       if(time[i]<t) lastvariance=variance[i];  // find the most recent value
                        // before t.
                        // This relies on your data being in order!
       else if(time[i]==t){  // time 
         found++;
         if (found==1) lastvariance=variance[i]; // no previous occurrences today
         else lastvariance+=variance[i];
       }
       else if(time[i]>t) break;
    }
    if(found>1) lastvariance/=found;  // calculate average of several simultaneous
    // readings, if more than one value found today at time t.
    // Note that: if found==0, this means you're using a previous
    // timestamp's value.
    // Also note that, if at t=1 you have 2 values of variance, that 
    // averaged value will not continue over to time t. 
    // You could easily reimplement that if that's the behaviour you desire,
    // the code is similar, but putting the time<t condition along with the 
    // time==t condition 
    allDaysTotal+=lastvariance;
  }
  allDaysMean = allDaysTotal / nDays

Ваша проблема непростая, как показано в описанных мной примерах.

Answer 4

Вы должны выполнить следующие шаги

• Создать класс с датой и свойством trv
• Создать список вышеупомянутого класса
• Считать файл, используя классы ввода-вывода.
• Чтение по частям и преобразование в строку
• Разделение всей строки по "ДАТА" и усечение
• Разделение по пробелу ("")
• Первыйitem будет вашей датой.
• Конвертируйте все остальные элементы, чтобы плавать и найдите среднее значение.
• Добавьте его в список.Теперь у вас есть список среднесуточных значений.
• Вы можете сохранить его на диске и запросить необходимые данные.

ПРАВКА. Вы отредактировали свой вопрос, и теперь он выглядит совершенно иначе,Я думаю, что вам нужна помощь в разборе файла.Поправь меня, если я ошибаюсь.