Особенности обработки больших объемов данных
Александр Таксиков (LiveInternet)
Программный комитет еще не принял решения по этому докладу
- Не хранение, а обработка. Небольшой объем базовых операций, большой объем обрабатываемых за одну операцию данных (до нескольких гигабайт, десятки-сотни миллионов записей).
- Отказ от баз данных. Причина - высокие накладные расходы с ростом обрабатываемых объемов, трудности выполнения ряда операций.
- Выбор форматов хранения - dat или txt (внутренний двоичный или текстовый). Преимущества и недостатки каждого.
- Выбор рабочих инструментов. Почему unix shell?
- Полезные эффекты простых операций
- Точки ускорения.
