Минимальный размер файла: Какой минимальный объем дискового пространства может занимать файл

Размер кластера по умолчанию для файловых систем FAT, NTFS и exFAT

Windows 10 Pro released in July 2015 Windows Server 2008 Datacenter without Hyper-V Windows Server 2008 Enterprise without Hyper-V Windows Server 2008 for Itanium-Based Systems Windows Server 2008 Standard without Hyper-V Windows Server 2008 Datacenter Windows Server 2008 Enterprise Windows Server 2008 Standard Windows Vista Enterprise 64-bit Edition Windows Vista Home Basic 64-bit Edition Windows Vista Home Premium 64-bit Edition Windows Vista Ultimate 64-bit Edition Windows Vista Business 64-bit Edition Windows Vista Enterprise Windows Vista Home Basic Windows Vista Home Premium Windows Vista Starter Windows Vista Ultimate Microsoft Windows XP Home Edition Microsoft Windows XP Professional Microsoft Windows XP Starter Edition Windows Server 2008 R2 Datacenter Windows Server 2008 R2 Enterprise Windows Server 2008 R2 for Itanium-Based Systems Windows Server 2008 R2 Foundation Windows Server 2008 R2 Standard Windows 7 Enterprise Windows 7 Home Basic Windows 7 Home Premium Windows 7 Professional Windows 7 Starter Windows 7 Ultimate Windows 8 Windows 8 Enterprise Windows 8 Pro Windows Server 2012 Datacenter Windows Server 2012 Essentials Windows Server 2012 Foundation Windows Server 2012 Standard Еще.

..Меньше

Аннотация

Во всех файловых системах, используемых Windows, дисковое пространство организовывается с учетом размера кластеров (или размера единицы распределения). Размер кластера — минимальный объем дискового пространства, который может быть выделен для хранения файла. Таким образом, если размер файла не кратен размеру кластера, для его хранения необходимо использовать дополнительное пространство (кратное размеру кластера). При обычном разделении пространства на жестком диске средний объем памяти, потерянной в таком случае, можно рассчитать по формуле (размер кластера)/2 * (количество файлов).

Если размер кластера не задан во время форматирования раздела, используются значения по умолчанию, зависящие от размера раздела. Эти значения выбираются с учетом оптимального соотношения теряемого объема и числа кластеров в разделе. 

Дополнительная информация

Раздел (том) жесткого диска можно отформатировать под файловую систему NTFS, FAT или exFAT. В зависимости от метода форматирования раздела в Windows могут использоваться следующие значения по умолчанию.

• С помощью команды FORMAT без указания размера кластера.

• С помощью программы Windows Explorer, когда в поле Единица размещения в диалоговом окне Формат оставлено значение

  Стандартный размер размещения.

По умолчанию размер кластера для файловой системы NTFS в Windows NT 4.0 и более поздних версий равен 4 КБ. Это обусловлено тем, что сжатие файлов в NTFS невозможно для дисков с большим размером кластера. Команда форматирования не использует размер кластера больше 4 КБ, кроме случая, когда пользователь переопределяет значения по умолчанию. Вы можете сделать это, используя /А: переключение вместе с командой Format или с помощью указания большего размера кластера в соответствующем поле при форматировании с помощью проводника. 

При использовании программы Convert.exe для преобразования раздела FAT в NTFS всегда используется исходный размер кластера FAT в качестве размера кластера NTFS, если он не превышает 4 КБ. Если размер кластера FAT больше 4 КБ, то кластеры преобразовываются к размеру 4 КБ в NTFS/ Это объясняется тем, что структуры файловой системы FAT ориентированы на пределы кластера, и следовательно, установка любого большего размера кластера не позволяет выполнить преобразование. При форматировании раздела с помощью программы установки Windows NT 3.5, 3.51 и 4.0 , он сначала форматируется в FAT, а затем преобразуется в NTFS, а значит, в этом случае размер кластера всегда будет таким, каким был указан ранее при форматировании раздела в Настройках.

Размеры кластера по умолчанию для файловой системы NTFS

В следующей таблице описаны размеры кластера по умолчанию для NTFS.

Размер тома	Windows NT 3.51	Windows NT 4.0	Windows 7, Windows Server 2008 R2, Windows Server 2008, Windows Vista, Windows Server 2003, Windows XP и Windows 2000
7 МБ — 512 МБ	512 байт	4 КБ	4 КБ
512 МБ — 1 ГБ	1 МБ	4 КБ	4 КБ
1 ГБ —2 ГБ	2 ГБ	4 КБ	4 КБ
2 ГБ —2 ТБ	4 КБ	4 КБ	4 КБ
2 ТБ —16 ТБ	Не поддерживается*	Не поддерживается*	4 КБ
16 ТБ —32 ТБ	Не поддерживается*	Не поддерживается*	8 ГБ
32 ТБ —64 ТБ	Не поддерживается*	Не поддерживается*	16 ГБ
64 ТБ —128 ТБ	Не поддерживается*	Не поддерживается*	32 ГБ
128 ТБ —256 ТБ	Не поддерживается*	Не поддерживается*	64 ГБ
> 256 TB	Не поддерживается	Не поддерживается	Не поддерживается

Примечание . Звездочка (*) означает, что он не поддерживается из-за ограничений записи главной загрузки (MBR).

Размер кластера по умолчанию для FAT16

В приведенной ниже таблице указаны значения размеров кластеров по умолчанию для файловой системы FAT16.

Размер тома	Windows NT 3.51	Windows NT 4.0	Windows 7, Windows Server 2008 R2, Windows Server 2008, Windows Vista, Windows Server 2003, Windows XP и Windows 2000
7 МБ —8 МБ	Не поддерживается	Не поддерживается	Не поддерживается
8 МБ —32 МБ	512 байт	512 байт	512 байт
32 МБ —8 МБ	1 МБ	1 МБ	1 МБ
64 ТБ —128 ТБ	2 ГБ	2 ГБ	2 ГБ
128 ТБ —256 ТБ	4 КБ	4 КБ	4 КБ
256 МБ —512 МБ	8 ГБ	8 ГБ	8 ГБ
512 МБ — 1 ГБ	16 ГБ	16 ГБ	16 ГБ
1 ГБ —2 ГБ	32 ГБ	32 ГБ	32 ГБ
2 ГБ —4 ГБ	64 ГБ	64 ГБ	64 ГБ
4 ГБ —8 ГБ	Не поддерживается	128 КБ*	Не поддерживаются
8 ГБ —16 ГБ	Не поддерживается	256 KB*	Не поддерживаются
> 16 ГБ	Не поддерживаются	Не поддерживается	Не поддерживается

Примечание. Символ «*» означает доступность только для носителей с размером сектора, превышающим 512 байт.

Размер кластера по умолчанию для FAT32

В приведенной ниже таблице указаны значения размеров кластеров по умолчанию для файловой системы FAT32.

Размер тома	Windows NT 3.51	Windows NT 4.0	Windows 7, Windows Server 2008 R2, Windows Server 2008, Windows Vista, Windows Server 2003, Windows XP и Windows 2000
7 МБ — 16 МБ	Не поддерживается	Не поддерживается	Не поддерживается
16 МБ —32 МБ	512 байт	512 байт	Не поддерживается
32 МБ —8 МБ	512 байт	512 байт	512 байт
64 МБ —128 МБ	1 МБ	1 МБ	1 МБ
128 ТБ —256 ТБ	2 ГБ	2 ГБ	2 ГБ
256 МБ — 8 ГБ	4 КБ	4 КБ	4 КБ
8—16 ГБ	8 ГБ	8 ГБ	8 ГБ
16 ТБ —32 ТБ	16 ГБ	16 ГБ	16 ГБ
32 ГБ — 2 ТБ	32 ГБ	Не поддерживается	Не поддерживается
> 2 ТБ	Не поддерживаются	Не поддерживается	Не поддерживается

Размер кластера по умолчанию для exFAT

В приведенной ниже таблице указаны значения размеров кластеров по умолчанию для файловой системы exFAT.

Размер тома	Windows 7, Windows Server 2008 R2, Windows Server 2008, Windows Vista, Windows Server 2003 и Windows XP
7 МБ — 256 МБ	4 КБ
256 МБ — 1 ГБ	32 ГБ
32 ГБ — 256 ТБ	128 МБ.
> 256 TБ	Не поддерживаются

Файлы набора данных с пониженным разрешением—ArcMap

• Требования для создания файла RRD
• Размер файла RRD

Файл набора данных с пониженным разрешением (. rrd) — это один из способов хранения пирамидных слоев для набора растровых данных. Файл .rrd создается в двух возможных сценариях:

• Файловый формат — файл ERDAS IMAGINE (.img).
• Пирамидные слои строятся в версии до ArcGIS 10.

Требования для создания файла RRD

Для построения файла .rrd для набора растровых данных требуются права на запись в папку, где расположен набор данных. Если вы создаете пирамидные слои, файл .rrd будет создан в той же папке, в которой находится исходный набор данных. При следующем добавлении этого набора растровых данных, будут использованы имеющиеся пирамидные слои. Исключением из этого правила являются файлы ERDAS IMAGINE, у которых указатель пирамидных слоев хранится вместе с изображением, а не в дополнительном файле (.aux), как у других форматов. В этом случае, вы должны иметь права на запись непосредственно в набор растровых данных, а также в папку, в которой он расположен.

Размер файла RRD

Для несжатых растров, минимальный размер файла . rrd составляет примерно 8 процентов от исходного набора растровых данных. Однако, в некоторых ситуациях, размер файла .rrd может быть больше (33%) размера исходного файла. Это зависит от метода сжатия, используемого в исходном файле растра. Если размер файла .rrd превышает два гигабайта, то, в качестве дополнительного файла, создается набор данных с пониженным разрешением (.rde).

Ниже приведен пример увеличения размера набора растровых данных за счет пирамидных слоев. Уровень 0 — оригинальный набор растровых данных.

Уровень пирамидного слоя	Увеличение размера относительно уровня 0 в процентах	Общий размер на диске
0	Нет сжатия	1 Гб
1	25. 0%	1,25 Гб
2	6.25%	1,313 Гб
3	1.56%	1,328 Гб
4	0.4%	1,332 Гб
5	0.1%	1,333 Гб
6	0.024%	1,3332 Гб
7	0. 006%	1,3333 Гб

Связанные разделы

С++ — Каков наименьший возможный размер файла на диске?

спросил 8 лет, 5 месяцев назад

Изменено 1 год, 7 месяцев назад

Просмотрено 5к раз

Я пытаюсь найти решение для хранения двоичного файла в наименьшем размере на диске. Я читаю VIN и номер автомобиля из базы данных размером 30 байт, и когда я помещаю его в текстовый файл и сохраняю, его размер составляет 30 байт, но его размер на диске составляет 4 КБ, что означает, что если я сохраню 100000 файлов или более того, это убьет место для хранения.

Итак, мой вопрос: как я могу записать эти 30 байт в отдельный двоичный файл до наименьшего размера на диске, и каков наименьший возможный размер 30 байт на диске, включая другую информацию, такую ​​как имя файла и разрешения?

Примечание: я не хочу сохранять этот текст в базе данных, я просто хочу сделать отдельные бинарные файлы.

6

наименьший размер файла всегда равен размеру кластера вашего диска, который обычно составляет 4 КБ. для таких данных иметь много записей в одном файле действительно единственное разумное решение.

, хотя другая возможность — хранить эти файлы в архиве, например, в zip-файле. под Windows вы даже можете получить доступ к содержимому zip, очень похожему на обычные файлы в проводнике.

еще одна творческая возможность: хранить все данные только в имени файла . файл с нулевым байтом занимает всего 1024 байта в MFT. (при условии NTFS)

редактировать: читая резидентные файлы, я обнаружил, что на более новых дисках с 4k секторами запись MFT на самом деле тоже 4k. поэтому он не становится меньше этого, независимо от того, равен ли размер данных 0 или нет.

другое редактирование: огромные каталоги с десятками или сотнями тысяч записей станут довольно громоздкими. не пытайтесь открыть его в проводнике или будьте готовы выпить кофе, пока он загружается.

13

Большинство файловых систем выделяют дисковое пространство для файлов фрагментами. Невозможно взять меньше одного фрагмента, за исключением, возможно, файла нулевой длины.

Google «Размер кластера»

Вам следует рассмотреть возможность использования какой-либо библиотеки индексированных файлов, такой как gdbm: она связывает с произвольным ключом некоторые произвольные данные. Вы не будете тратить файл на каждую ассоциацию (только один файл на все).

Вам следует пересмотреть свое отношение к «базам данных». Sqlite — это библиотека , предоставляющая вам возможности SQL и базы данных. И нет баз данных SQL, таких как mongodb

Конечно, все это ужасно зависит от операционной системы и файловой системы (но gdbm и sqlite должны работать на многих системах).

^{AFAIU, вы можете настроить и использовать как gdbm , так и sqlite , чтобы иметь возможность достаточно эффективно хранить миллионы записей по несколько десятков байт каждая.}

на файловых системах у вас та же проблема. наименьший размер выделения — это один узел данных, а также i-узел. Например, в IBM JFS2 наименьший размер блока составляет 4 КБ, и вам нужно выделить индексный дескриптор. Вторая проблема заключается в том, что вы будете писать много файлов за короткое время. Это создает проблемы с производительностью, чтобы за короткое время написать много инодов.

Каждая операция записи должна быть зарегистрирована и зафиксирована. Или вы используете старую не зарегистрированную файловую систему.

В идеале, grep многие ваши регистраторы данных ставят между собой разделитель и пишут 200-1000 в один файл.

например:

 0102030400506070809101112131415;;0102030400506070809101112131415;;...
 

вы можете индексировать дем с именем файла. Порядковые номера или около того….

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя электронную почту и пароль

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

hadoop — Разве размер блока по умолчанию в HDFS не является минимальным размером файла?

спросил 6 лет, 4 месяца назад

Изменено 6 лет, 4 месяца назад

Просмотрено 2к раз

HDFS имеет размер блока по умолчанию 60 МБ. Значит ли это, что минимальный размер файла в HDFS составляет 60 МБ?

, т.е. если мы создадим/скопируем файл размером менее 60 МБ (скажем, 5 байт), то я предполагаю, что фактический размер этого файла в HDFS составляет 1 блок, т. е. 60 МБ. Но когда я копирую 5-байтовый файл в HDFS, то, когда я вижу размер файла (через ls команда) я все еще вижу размер этого файла как 5 байт. Разве это не должно быть 60 МБ?

или команда ls показывает размер данных в файле вместо размера блока файла в HDFS?

• хауп
• mapreduce
• hdfs

1

Размер блока hdfs по умолчанию не означает, что он будет использовать все пространство, которое мы указали, то есть 60 МБ. если данные больше 60 МБ, то они будут разделены на блоки (данные/60 МБ), будет создано такое количество блоков. Если вы выполняете команду ls, она покажет только то, что вы в настоящее время используете пространство.

пример: — я загрузил файл test.txt в hdfs и размер блока, который я установил на 128 МБ, а репликация равна 2, но наш фактический размер файла составляет всего 193 Б.

** Размер группы владельцев разрешений Последнее изменение блока репликации Имя размера

-rw-r—r— супергруппа hduser 193 B 27.10.2016, 14:58:41 2 128 МБ test.txt**

1

Размер блока по умолчанию составляет , максимальный размер блока . Каждый файл состоит из блоков, которые распределяются (и реплицируются) на разные узлы данных в HDFS. Узел имен знает, какие блоки составляют файл и где их найти. Возможно, проще понять это на следующем изображении:

Если размер файла превышает 60 МБ (120 МБ в новой версии), его нельзя записать одним блоком, потребуется как минимум два. Конечно, если он меньше 60 МБ, его можно записать в один блок, который займет столько места, сколько необходимо (менее 60 МБ).

В конце концов, не имеет смысла, что 5-байтовый файл будет занимать 60 МБ.