Как SQOOP решает разделение данных, когда в MYSQL есть такие записи? - PullRequest
Новая
       37

Как SQOOP решает разделение данных, когда в MYSQL есть такие записи?

0 голосов
/ 11 сентября 2018 
select * from EMP_TEST order by EMPNO asc;
+------------+-------+----------+------+-------------+------+------+--------+
| EMPNO      | ENAME | JOB      | MGR  | HIREDATE    | SAL  | COMM | DEPTNO |
+------------+-------+----------+------+-------------+------+------+--------+
| 6765423233 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 6767891234 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 6767891236 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 7767891234 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 8767891230 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 8767891233 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 9765423233 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
| 9767891234 | WARD  | SALESMAN | 7698 | 22-FEB-1981 | 1250 |  500 |     30 |
  • Как рассчитать разбиение в моем случае, если я ссылаюсь на приведенный ниже пример? *

Например: Предположим: min = 0, max = 400, no_of_mappers = 4 split_size = (400 - 0) / 4 = 100

Итак, разбивает: [0, 100), [100, 200), [200, 300), [300, 400]

...