Como preparar y empezar a usar el disco duro con el GIGA

Al final la solución correcta a este problema es cambiar la línea del script:

Código:

size_MiB=`fdisk -l ${dev_disk} | grep  "^Disk ${dev_disk}:" | awk '{OFMT = "%.0f" ; print $5/1048576}'`

Ya que el shell no puede trabajar con números demasiado grandes:

Integer variables in Bash are actually signed long (32-bit) integers, in the range of -2147483648 to 2147483647. An operation that takes a variable outside these limits will give an erroneous result.

Código:

# fdisk -l /dev/sda| grep  "^Disk /dev/sda:"| awk '{print $5}'
1500301910016
# echo $((1500301910016 / 1048576))
2047
# echo $((1500301910016 / 1))
2147483647

Con este parche, parece que funciona correctamente el script:

Código:

Formateando discos duros

Encontrado disco /dev/sda de 1430799 MiB
Se crearán 7 particiones de 204399 MiB

Eso ya parece más lógico

Y más problemassssssss...

Ha hecho bien 6 particiones (7 contando la extendida) pero al intentar crear /dev/sda8 falla el fdisk con un "No free sectors available":

Código:

# fdisk /dev/sda

Command (m for help): p

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

  Device Boot      Start        End      Blocks  Id System
/dev/sda1              1      24851  199615626  83 Linux
/dev/sda2          24852      49702  199615657+ 83 Linux
/dev/sda3          49703      74553  199615657+ 83 Linux
/dev/sda4          74554      182401  866289060  5 Extended
/dev/sda5          74554      99404  199615626  83 Linux
/dev/sda6          99405      124255  199615626  83 Linux
/dev/sda7          124256      149106  199615626  83 Linux

Command (m for help): v
534884423 unallocated sectors

Command (m for help): n
No free sectors available

Command (m for help): d
Partition number (1-7): 7

Command (m for help): n
First cylinder (124256-182401, default 124256): Using default value 124256
Last cylinder or +size or +sizeM or +sizeK (124256-182401, default 182401): Using default value 182401

Command (m for help): p

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

  Device Boot      Start        End      Blocks  Id System
/dev/sda1              1      24851  199615626  83 Linux
/dev/sda2          24852      49702  199615657+ 83 Linux
/dev/sda3          49703      74553  199615657+ 83 Linux
/dev/sda4          74554      182401  866289060  5 Extended
/dev/sda5          74554      99404  199615626  83 Linux
/dev/sda6          99405      124255  199615626  83 Linux
/dev/sda7          124256      182401  467057713+ 83 Linux

Command (m for help): v
248 unallocated sectors

Aquí ya no sé muy bien qué hacer, he buscado información y recomiendan usar cfdisk, pero no está disponible en el Giga.

De poderse crear, la séptima partición sería de 467057713-199615626 = 267442087 (267GB) así que los redondeos (1500301910016 / 1048576 = 1430799,3984375 que awk redondea a 1430799) igual se están comiendo buena parte del espacio en un disco de estas dimensiones.

En fin, un lío

Hola Devotee,

Tal como lo veo las 6 particiones (7 con la extendida) que te ha creado suman casi los 1500Gb ya que la última partición creada es de 467Gb.

No veo el porqué calculas los 267Gb que faltan, mis calculos son:

sda1 ~200Gb
sda2 ~200Gb
sda3 ~200Gb
sda5 ~200Gb
sda6 ~200Gb
sda7 ~467Gb

Si lo sumo, me da 1467Gb... hay que tener en cuenta que los gigas en los discos duros se calculan en base a 1000 no a 1024, me imagino que lo que falta para los 1500 (~33Gb) se lo reserva el sistema y no lo podrás utilizar.

Es lo que dice pjllaneras, la última partición es de 467 GB y ya no se pueden crear más.

Te ha puesto que iba a crear 7 particiones y en la última ha dejado lo máximo que ha podido:

Se crearán 7 particiones de 204399 MiB

El "bug" es que ha detectado que tenía que crear 7 particiones y no 10.
Probablemente sea lo que decías de que la shell no puede manejar valores grandes.

pjllaneras escribió:Tal como lo veo las 6 particiones (7 con la extendida) que te ha creado suman casi los 1500Gb ya que la última partición creada es de 467Gb.

No, la de 467GB la he creado yo a mano para comprobar que sí se pudiese crear una "última" partición que ocupase todos los sectores que sobraban (comando "v" en fdisk). La que deja el Giga creada con el script es la que pongo al principio:

Código:

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

  Device Boot      Start        End      Blocks  Id System
/dev/sda1              1      24851  199615626  83 Linux
/dev/sda2          24852      49702  199615657+ 83 Linux
/dev/sda3          49703      74553  199615657+ 83 Linux
/dev/sda4          74554      182401  866289060  5 Extended
/dev/sda5          74554      99404  199615626  83 Linux
/dev/sda6          99405      124255  199615626  83 Linux
/dev/sda7          124256      149106  199615626  83 Linux

El problema parece ser que fdisk tiene problemas para manejar más de 8 particiones, contando la extendida. Es decir, que pese a que una partición extendida puede tener más de cuatro particiones lógicas, el fdisk no se aclara (por eso digo que buscando información, la solución que daban a este problema era usar cfdisk o parted). El script falla al pasar de sda7.

pjllaneras escribió:No veo el porqué calculas los 267Gb que faltan, mis calculos son:

Tal y como deja las particiones el script (sda7 de 200GB), faltaría crear sda8 (de 200GB) y un sda9 de 67GB (pero creo que este espacio lo pierde por los redondeos).

bittor escribió:Es lo que dice pjllaneras, la última partición es de 467 GB y ya no se pueden crear más.

Pero esa partición de 467GB la tengo que crear yo a mano, el script no puede ir más alla de la última partición (sda7) de 200GB, aunque queden 267B libres. Y el problema es que la dejar una partición (manual) de 467GB, no sé si dará problemas con el fsck.

bittor escribió:Te
ha puesto que iba a crear 7 particiones y en la última ha dejado lo
máximo que ha podido:

Se crearán 7 particiones de 204399
MiB

No, en la penúltima (sda7) utiliza 200GB y cuando va a crear la última, el fdisk le salta el error de que no hay sectores libres, el script se salta esa partición, y deja ese espacio sin particionar. Cuando dice 7 particiones no cuenta la extendida (sda4) porque no es una partición "real", es decir que en realidad son 7 particiones + la extendida.

bittor escribió:El "bug" es que ha detectado que tenía que crear 7 particiones y no 10.
Probablemente sea lo que decías de que la shell no puede manejar valores grandes.

Hay un solo bug, que el awk devuelve el valor en formato científico (1.4308e+06) y el shell no sabe interpretar ese valor, se soluciona especificando el formato de salida del print en awk. Eso hace fallar completamente el script en discos duros "grandes".

Otro "bug" es por culpa del redondeo. 1500301910016 / 1048576 =
1430799,3984375 que awk redondea a 1430799, ese 0,3984375 que se "pierde", en un disco de 1500GB puede significar mucho espacio perdido.

Y quedaría el "bug" del fdisk, pero ese ya es para dar de comer aparte.

Solucionado: he pinchado el disco en una Ubuntu, he usado el fdisk y he creado sda8 de 200GB y sda9 de 67GB, he formateado las particiones, las he configurado con tune2fs, y he pasado el fsck.

Así que, resumiendo, el script tiene dos bugs, uno gordo (el del awk) y otro leve (el de los redondeos).

Eso en cuanto al propio script, el otro bug gordo es del fdisk que lleva el Giga, que no puede manejar tantas particiones (el fdisk de Ubuntu ni se ha inmutado).

Has encontrado un bug muy interesante y me gustaría saber si tienes la posibilidad de compilar el firmware desde Linux para hacer unos pequeños cambios y probarlo.

Si no me equivoco, el kernel y el firmware no admiten más de 8 dispositivos /dev/sd* por disco, es decir, en un disco sólo puede haber 8 particiones contando la extendida.
Por lo tanto, el tope actual quitando la extendida serían 7 particiones * 200 GB = 1400 GB = 1,4 TB y los discos de más capacidad no se podrán formatear con el script del firmware y en un Linux podrás crear las particiones que quieras pero el giga sólo montará 8.

Respecto al awk no sé si habrá una forma de obtener el dato más exacto, pero como los decimales que se pierden se añaden a la última partición, el disco se usaría en su totalidad y no creo que la última partición supere los 200 GB por esos decimales.

Yo pondría el doble de dispositivos /dev/sd*, es decir, 16 en total que quitando la extendida nos permitirá gestionar 3 TB en particiones de 200 GB.

Resulta que yo también he estado intentando optimizar un WD de 1.5 Tbytes, aprovechando las vacaciones (lo pillé hace unas semanas y estaba usando como venía, con FAT). Y claro me estaba dando los problemas que comentais.

Visto lo cual, creo que ahora lo mejor sería formatear desde ubuntu.

Mi pregunta es: ¿se puede dejar igual de optimizado desde el PC? Creo que los comandos necesarios están en el foro y son obra de Bittor.

Y otra pregunta: ¿afectaría al funcionamiento del Giga si hago 7 particiones de 200Gb y dejo la 8ª con todo lo que sobra y no la uso para las grabaciones? Es que se me ocurre que, por telnet, podría usarla para unir los ficheros de las grabaciones en uno y bajarlo al pc o para 'almacenar cosas' ya que tengo el PC con un disco mucho más pequeño.

Saludos

pezdemar escribió:¿se puede dejar igual de optimizado desde el PC?

Sí, pero hay que tener en cuenta que los nuevos Linux usan kernels más nuevos y el comando correcto para formatear la partición y que sirva para nuestro kernel es:

Código:

mke2fs -b 4096 -i 65536 -I 128 -m 1 /dev/particion

pezdemar escribió:¿afectaría al funcionamiento del Giga si hago 7 particiones de 200Gb y dejo la 8ª con todo lo que sobra y no la uso para las grabaciones?

No, aunque hasta que corrijamos el error tienen que ser 8 particiones contando la extendida.

Gracias.
Por resumir, los comandos que habría que ejecutar por partición:

mke2fs -b 4096 -i 65536 -I 128 -m 1 /dev/sda1

tune2fs -i 1m -c 0 -L vdr1 /dev/sda1

e2fsck -fD /dev/sda1

¿es correcto? Los he sacado de este hilo (lo pregunto porque es antiguo)

Lo de optimizar para las ediciones en archivos pequeños creo que está en el menú del Giga junto a la opción de los enlaces duros, yo uso mucho la edicción ¿40 o 50 Mb estaría bien?

Los comandos son correctos y con 50 MB las ediciones con enlaces duros son muy rápidas.

bittor escribió:Has encontrado un bug muy interesante y me gustaría saber si tienes la posibilidad de compilar el firmware desde Linux para hacer unos pequeños cambios y probarlo.

Hace bastante que no compilo el firmware en Linux. ¿Las instrucciones siguen siendo estas? Tengo un equipo con Ubuntu 9.04 y otro con Ubuntu 9.10.

bittor escribió:Si no me equivoco, el kernel y el firmware no admiten más de 8 dispositivos /dev/sd* por disco, es decir, en un disco sólo puede haber 8 particiones contando la extendida.

Yo he podido usar las 9 particiones en el Giga (contando la extendida):

Código:

~ # fdisk -l /dev/sda

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

  Device Boot      Start        End      Blocks  Id System
/dev/sda1              1      24851  199615626  83 Linux
/dev/sda2          24852      49702  199615657+ 83 Linux
/dev/sda3          49703      74553  199615657+ 83 Linux
/dev/sda4          74554      182401  866289060  5 Extended
/dev/sda5          74554      99404  199615626  83 Linux
/dev/sda6          99405      124255  199615626  83 Linux
/dev/sda7          124256      149106  199615626  83 Linux
/dev/sda8          149107      173957  199615626  83 Linux
/dev/sda9          173958      182401    67826398+ 83 Linux
~ # df
Filesystem          1K-blocks      Used Available Use% Mounted on
/dev/root                14964    14964        0 100% /
/dev/mtdblock2            5888      528      5360  9% /rw-flash
tmpfs                    22548      856    21692  4% /var
/dev/mtdblock2            5888      528      5360  9% /etc
/dev/mtdblock2            5888      528      5360  9% /root
/dev/sda1            199212772  5618588 191598028  3% /var/media/vdr1
/dev/sda2            199212804  5327432 191889216  3% /var/media/vdr2
/dev/sda3            199212804  5600480 191616168  3% /var/media/vdr3
/dev/sda5            199212772  5476248 191740368  3% /var/media/vdr4
/dev/sda6            199212772  5622444 191594172  3% /var/media/vdr5
/dev/sda7            199212772  5580020 191636596  3% /var/media/vdr6
/dev/sda8            199212772  5383468 191833148  3% /var/media/vdr7
/dev/sda9            67689332    53012  66958060  0% /var/media/vdr8

Creo que el problema es más del fdisk (que es una versión antigua con el problema de las 8 particiones) que una limitación del propio kernel en cuanto número de dispositivos. La sensación que tengo es que el fdisk de Ubuntu lo hace bien porque usan una versión más reciente del mismo *o* una versión modificada del mismo con algún parche propio de Ubuntu/Debian (es usual que esto ocurra en las diferentes distribuciones de Linux).

bittor escribió:Por lo tanto, el tope actual quitando la extendida serían 7 particiones * 200 GB = 1400 GB = 1,4 TB y los discos de más capacidad no se podrán formatear con el script del firmware y en un Linux podrás crear las particiones que quieras pero el giga sólo montará 8.

Yo estoy usando (montando) sin problemas 7 particiones de 200GB y una de 67GB. Con el fdisk de Ubuntu pude crear sin problemas las particiones sda8 (200GB) y sda9 (67GB), cuando el fdisk del Giga no podía pasar de sda7. De hecho, si borro una partición (cualquiera) e intento recrearla, el fdisk del Giga falla:

Código:

~ # fdisk /dev/sda

Command (m for help): d
Partition number (1-9): 9

Command (m for help): n
No free sectors available

Command (m for help): d
Partition number (1-8): 8

Command (m for help): n
No free sectors available

Command (m for help): d
Partition number (1-7): 7

Command (m for help): n
First cylinder (124256-182401, default 124256):

bittor escribió:Respecto al awk no sé si habrá una forma de obtener el dato más exacto, pero como los decimales que se pierden se añaden a la última partición, el disco se usaría en su totalidad y no creo que la última partición supere los 200 GB por esos decimales.

Hay un pequeño error "informativo" en el script, cuando dice "Se crearán 7 particiones de 204399 MiB" debería de decir "Se crearán 7 particiones de 204399 MiB y 1 particion de xxx MiB" (o similar, para indicar la partición con el "resto" del espacio sobrante).

También estoy de acuerdo con que el error del redondeo en awk no es un problema tan importante (se añade ese espacio a la última partición, como dices), aunque recuerda que habría que modificar el script para que awk devuelva el tamaño en el formato correcto (no científico) para que el script no casque inmediamente después.

bittor escribió:Yo pondría el doble de dispositivos /dev/sd*, es decir, 16 en total que quitando la extendida nos permitirá gestionar 3 TB en particiones de 200 GB.

Aunque el problema creo que es del fdisk y no del kernel, tampoco es por falta de dispositivos en /dev (es algo que comprobé en su momento, por si acaso sólo había hasta /dev/sda7 y ese era el problema que fdisk se encontraba):

Código:

~ # ls /dev/sda*
/dev/sda    /dev/sda10  /dev/sda12  /dev/sda14  /dev/sda3  /dev/sda5  /dev/sda7  /dev/sda9
/dev/sda1  /dev/sda11  /dev/sda13  /dev/sda2  /dev/sda4  /dev/sda6  /dev/sda8

Pero, como dices, habría que aumentar el número de dispositivos ya que "sólo" hay 14 (15 contando /dev/sda), por lo que no se podrían gestionar (todavía) 3GB en particiones de 200GB (15 de 200GB y 1 con el resto).

bittor escribió:Los comandos son correctos y con 50 MB las ediciones con enlaces duros son muy rápidas.

Una sugerencia (igual esto tendría que ir al foro que toca)... Con 50MB las ediciones son muy rápidas pero el paso de los archivos y su posterior edición en el ordenador es un proceso un tanto infernal (si tienes una grabación que eran 20 archivos de 300MB, ahora serían 120(!!) archivos de 50MB). Igual una opción de "consolidar grabación" (o como se quiera decir) que pegue los archivos de 50MB en un archivo enorme de xGB (o de x archivos de 1GB para evitar problemas con sistemas de archivos que no puedan manejar ficheros de más de 2GB) sería bastante útil. Evidentemente esta "consolidación" debería de hacerse cuando ya has hecho una edición previa y el resultado es "final", es decir, que no vas a tener que reeditarlo.

Por una parte tiene sentido (evitar tener que trastear con 120 archivos de 50MB en el ordenador) pero por otra parte lo que has ganado (en tiempo) con los enlaces duros y los ficheros pequeños puede perderse en este proceso, ya que hay que reprocesar una grabación y regenerarla en archivos grandes (no hay enlaces duros que valgan).

En Linux la verdad es que ese proceso puede hacerse muy fácilmente en el ordenador:

Código:

for f in in *.vdr ; do echo "Pegando fichero $f..." ; cat $f >>grabacion.vdr ; done

Pero en Windows ya es otra historia (supongo que sería un "copy 001.vdr /B + 002.vdr /B + ... + 120.vdr /B", puede que "copy /B *.vdr grabacion.vdr" también funcione, no estoy seguro ahora mismo).

Los archivos .vdr no tienen ninguna cabecera al principio, ¿no?

devotee escribió:Hace bastante que no compilo el firmware en Linux. ¿Las instrucciones siguen siendo estas? Tengo un equipo con Ubuntu 9.04 y otro con Ubuntu 9.10.

Sí.

devotee escribió:Yo he podido usar las 9 particiones en el Giga (contando la extendida)

Entonces el problema parece que no es del kernel y habrá que revisarlo bien.

devotee escribió:Hay un pequeño error "informativo" en el script, cuando dice "Se crearán 7 particiones de 204399 MiB" debería de decir "Se crearán 7 particiones de 204399 MiB y 1 particion de xxx MiB" (o similar, para indicar la partición con el "resto" del espacio sobrante).

Tienes razón.

devotee escribió:Una sugerencia (igual esto tendría que ir al foro que toca)... Con 50MB las ediciones son muy rápidas pero el paso de los archivos y su posterior edición en el ordenador es un proceso un tanto infernal (si tienes una grabación que eran 20 archivos de 300MB, ahora serían 120(!!) archivos de 50MB). Igual una opción de "consolidar grabación" (o como se quiera decir) que pegue los archivos de 50MB en un archivo enorme de xGB (o de x archivos de 1GB para evitar problemas con sistemas de archivos que no puedan manejar ficheros de más de 2GB) sería bastante útil. Evidentemente esta "consolidación" debería de hacerse cuando ya has hecho una edición previa y el resultado es "final", es decir, que no vas a tener que reeditarlo.

Eso ya lo tienes implementado en:
Configuración -> Configuración VDR -> Opciones de edición -> Partir archivos editados -> no
Si haces eso, te recomiendo que pongas en esa misma pantalla un ancho de banda para el disco entre 60 % y 70 % para que no afecte cuando hagas varias grabaciones a la vez o estés reproduciendo algo.

devotee escribió:Yo he podido usar las 9 particiones en el Giga (contando la extendida):

¿Podrías explicarme el proceso?. Yo tengo un disco WD de 1,5 T. He intentado usar lo que dice "pezdemar" mas arriba

mke2fs -b 4096 -i 65536 -I 128 -m 1 /dev/sda1

tune2fs -i 1m -c 0 -L vdr1 /dev/sda1

e2fsck -fD /dev/sda1

Pero solo me ha hecho 1 particion.
¿Hay algún script para hacer las particiones con Linux en el ordenador?

gatopardo escribió:¿Podrías explicarme el proceso?. Yo tengo un disco WD de 1,5 T. He intentado usar lo que dice "pezdemar" mas arriba

Código:

mke2fs -b 4096 -i 65536 -I 128 -m 1 /dev/sda1
tune2fs -i 1m -c 0 -L vdr1 /dev/sda1
e2fsck -fD /dev/sda1

Pero solo me ha hecho 1 particion.
¿Hay algún script para hacer las particiones con Linux en el ordenador?

Lo que has hecho aquí es crear el sistema de ficheros y configurarlo con los parámetros para optimizar el rendimiento para el giga.

Para crear las particiones con linux debes utilizar un programa de consola como fdisk o uno gráfico como gparted. Primero creas las particiones necesarias y luego creas los sistemas de ficheros en cada partición como lo has hecho antes.

Gracias pjllaneras.
Particionaré con gparted que lo conozco mejor.
Y luego usare

Código:

mke2fs -b 4096 -i 65536 -I 128 -m 1 /dev/sda1
tune2fs -i 1m -c 0 -L vdr1 /dev/sda1
e2fsck -fD /dev/sda1

Y en mi caso cambiare sda1 por sdb1, sdb2, etc.

Y luego cuando lo ponga en el gigaset, ¿ tendré que hacer algún ajuste?

gatopardo escribió:Y luego cuando lo ponga en el gigaset, ¿ tendré que hacer algún ajuste?

Tendrás que configurar VDR para que utilice todas las particiones que quieras utilizar. Cuando arranque el Giga se montarán las particiones en /var/media/vdr1, /var/media/vdr2, ... /var/media/vdrN (el directorio /var/media también está enlazado en /media), luego tendrás que configurar en configuración del firmware, configuración de directorios, el directorio de grabaciones, los directorios donde quieres que se graben las programaciones.

hola de nuevo quiero preguntar que disco duro sera mejor el 2,5 o el de 3,5 para el giga y sies mejor sata o ide cual sera mejor gracias

2,5 olvidaté, van alimentados por el USB y el resultado no es bueno.
Mejor de 3.5" con alimentador.
Lo de que sea ide o sata supongo que da igual, al giga le da igual, pero supongo que hoy en día es todo sata.

gracias y de tamaño supongo que cuando mas mejor