Добрый день.Заметил,что по-прежнему исчезают некоторые знаки препинания(запятая),при удалении русского текста.
из тех пользователей, кто желает затестить прогу с новой регулировкой потоков и памяти для сортировки и сравнения, просьба написать в лс исправлено
Ты кидай сюда , я с ней работаю . Норма . Пробовал файл 100Гб вроде не работает , а вот такие 3- 4 супер . Надо сделать так , что б от файла 100Гб отнимала 30 Гб . Как rli2
только для сортировки и все....потоки кратные 4м желательно..не более 96....увеличение памяти для больших файлов может сыграть роль негативную что важно узнать мне...показатели нагрузки в процентах при разных значениях памяти и потоков... сильно так чтоб много данных не надо...например взять два файла до гига один и второй более 3 если есть....несколько тестов, например увеличить потоки с 16 до 32 ...и 64 допустим...и также память от 32 эт понятно..испробовать память 128 256 512 ...в диспетчере глянуть сколько жрет памяти при таких параметрах...добавил время выполнения в конце будет показывать .... чтоб тему не засорять, лучше кидать в лс всем откликнувшимся спс ...файл перезалил, исправил сохранение в отд файл при сортировке
Мне нужны только дубли и я не знаю работает прога или нет .. И сколько ждать . Помоєму только дубли не работают
потоков не более 96...на максимум, тоесть все указанные потоки, не всегда будут задействованы, зависит от файла при разбивке со временем добавлю шкалу
Обновление 0.6.6 - Прикрутил шкалу. Работает так по шагам: первый, когда идет разбивка на части с предварительной подготовкой к сортировке второй, когда идет окончательная сортировка с записью в файл с выводом в лог о начале. Тестировал на файлах не более 3гб, если поведет себя не правильно на больших -дайте знать. - Добавлены варианты выбора для метода сортировки, по алфавиту или длине. Шапка темы обновлена.
Автору большое спасибо ) многопоточность этл огонь обработал 29Гб словарь . Отработала на ура. Получилось быстрее чем cygwin с командой sort -u быстрее примерно на 1 час. Так что этот софт может стать скоро в ряд популярных программ . Ещё раз спасибо
Обновление 0.6.7 -Добавлен поиск по совпадению в строках, для вывода в отд файл (на скорость не проверял) -В сравнении и сортировке - пункт Удалить русский и не читаемый текст заменен на: * Удалить не читаемый текст (прим. сохраняет рус) * Удалить русский и не читаемый текст - Дополнительно добавлено с таким-же смыслом в Функции - Удалить - Символы - Непечатные и Непечатные+ Шапка темы обновлена, проверил маленьк. файлами все новые, кроме сравнения... если будут замечания, пишите в теме.
Спасибо огромное. только сегодня смог протестировать. все просто супер . отсортировал сегодня словарь 41Гб за 34 Минут) Забыл уточнить на ssd диске
Скажите пожалуйста ,а ваша программа умеет разбивать на отдельные файлы файлы формата Code: login:pass ?
используйте Code для правильного отображения символов и напишите там пример в несколько строк, что на входе (какие строки) и что вы имеете ввиду должно получиться на выходе
Я просто вижу что программа делает так: берет login : pass и выходит login pass А есть что-то чтобы в разные файлы не в один ?
после того как пройдетесь указанным разделителем : по строкам файла, как один из вариантов после того как на выходе будет Code: login pass login2 pass2 Функции- Удалить - Строки - четные / нечетные....будет два файла, как вы хотите при условии что каждая строка имеет вид Code: login:pass п.с. Иногда для того чтобы что-то найти - нужно лишнее удалить
Возможно ли добавить функцию выбора не только файла но ещё и папки ? Для обработки большого количества файлов? Надо найти почту в 3,3млн файлах .на будущее я думаю полезно будет для обработки большого количества файлов Не могу открыть папку через программу ( не грузит все файлы . А если можно будет выбрать папку то и открывать её не надо будет
Готовлю по просьбам подсчет совпадений на след обнову. Формат записи каждой строки у выходного файла будет таким: N-количество совпадений в файле, указанный разделитель, строка Пример разделителя: Code: : Пример входного файла: Code: vasya vasya petya masha Файл на выходе: Code: 2:vasya 1:petya 1:masha
