feb 26

Big Data y las matemáticas

bigdatainfoDenominamos por Big Data la acumulación masiva de datos, y englobamos dentro del Big Data el análisis y la manipulación de grandes cantidades de datos. Esta nueva rama de las ciencias de la computación no es agena a las matemáticas, todo lo contrario: sin las matemáticas se colapsaría.

Gemma Muñoz, autora de “El Arte de Medir” (Profit, 2011), nos dice que el Big Data es matemáticas. Son las matemáticas de la efectividad, ya que si tenemos muchos y diversos datos y los combinamos con las reglas adecuadas, podremos encontrar los patrones, los valores atípicos que nos ayudarán a gestionar de forma potente nuestra estrategia de negocio.

La fuerza del Big Data está en optimizar procesos muy complejos, cuanto mayor es el sistema, mayor valor podrá aportar. Gemma Muñoz

Ese trabajo está siendo y será muy importante. Catalina Pons nos comenta lo que dijo Hal Varian, Chief Economist de Google, hace unos años: “En diez años, el trabajo más sexy será el de los estadísticos: La capacidad de recoger datos, comprenderlos, procesarlos, extraer su valor, visualizarlos, comunicarlos serán todas habilidades importantes en las próximas décadas. Ahora disponemos de datos gratuitos y omnipresentes. Lo que aún falta es la capacidad de comprender estos datos y extraer su valor“. El Big Data, dar forma al futuro.

Este trabajo con los datos no se restringe a Marketing y análisis web. La ciencia está proveyendo de grandes cantidades de datos en meteorología, genómica, simulación de procesos físicos (LHC), procesos biológicos y ambientales…, y estos datos necesitan de un profesional que los examine: el científico de datos, del que nos habla José Antonio Guerrero.

El científico de datos es una profesión considerada clave en el mundo de las tecnologías y  de las mejor pagadas. Se trata de una persona formada en las ciencias matemáticas y las estadísticas que domina la programación y sus diferentes lenguajes, ciencias de la computación y analítica. (El científico de datos: una novedosa y necesaria profesión )

El matemático José Antonio Guerrero es considerado el mejor científico de datos del mundo gracias a sus brillantes modelos predictivos. Estos modelos requieren de mucho trabajo y cálculo de variables, pero de ser exitosos son capaces de revolucionar el mundo. El confidencial

La era de la información nació sobre cimientos matemáticos, y el avance en el Big Data dependerá de nuestros algoritmos matemáticos.

Los algoritmos son el arte matemático del “Big Data”. Big Numbers, Big Data

 

Esta entrada participa en la Edición 6.1 del Carnaval de Matemáticas cuyo anfitrión es Tito Eliatron Dixit.

Did you like this? Share it:
Posted in Actualidad | Tagged , | Leave a comment
feb 25

De Moivre y la distribución normal

Conocemos que la función distribución de la distribución normal está definida como $$\Phi_{\mu,\sigma^2}(x)=\frac{1}{\sigma\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{(u – \mu)^2}{2\sigma^2}}\, du ,\quad x\in\mathbb{R}$$

La función $$f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x – \mu)^2}{2\sigma^2}}$$ la conocemos como la función gaussiana, y a su integral la integrala gaussiana. Gauss la publicó en un trabajo de 1809, donde apareció el resultado famoso
$$\int_{-\infty}^\infty e^{-x^2}\,dx = \sqrt{\pi}.$$

Karl Pearson nos dice en [1] que el primer trabajo sobre esa función no fue de Gauss, sino de Abraham de Moivre. De Moivre había estado estudiando la distribución binomial de Jakob Bernoulli. En un trabajo de 1733, De Moivre considera la fórmula de Stirling
$$n! \simeq n^n e^{-n}\sqrt{2 \pi n}\qquad \text{cuando } n \to \infty,$$
para concluir que
$${n \choose k}\, p^k q^{n-k} \simeq \frac{1}{\sqrt{2 \pi npq}}\,e^{-\frac{(k-np)^2}{2npq}}, \text{ con } p+q=1, \, p, q > 0$$
En un trabajo recopilatorio De Moivre, Doctrine of Chances (1738), lo ejemplificaría para $p=\frac{1}{2}$; pero habría que esperar a 1812 para que Laplace lo formalizase en un teorema, el Teorema de Moivre-Laplace, donde nos aparece la integral $$\int_{\infty}^{\infty}e^{-\frac{x^2}{2}}\, dx.$$

Implícitamente, el teorema de Moivre-Laplace, nos ofrece una aproximación normal a la distribución binomial. Serán los trabajos de Gauss, en 1809, y Laplace, desde 1774 hasta su formulación en 1812[3], los que concretarán lo que hoy conocemos como distribución normal.

Laplace había tratado este tipo de integrales con anterioridad a Gauss, de hecho en 1774 [4] se plantea cómo resolver la integral anterior. Para ello estudia la integral
$$\int_0^1\frac{dx}{\sqrt{-\log x}}(*)$$ Si $y=\sqrt{-\log x}$, la integral se transforma en
$$2\int_0^\infty e^{-y^2}dy.$$
Veamos como Laplace resuelve $(*)$, para hacerlo utiliza la fórmula de Euler:
$$\int_0^1\frac{x^rdx}{\sqrt{1-x^{2s}}}\int_0^1\frac{x^{s+r}dx}{\sqrt{1-x^{2s}}}=\frac{1}{s(r+1)}\,\frac{\pi}{2},$$
para $r$ y $s$ positivos. Si hacemos tender $r\to 0$, tendremos
$$\int_0^1\frac{dx}{\sqrt{1-x^{2s}}}\int_0^1\frac{x^{s}dx}{\sqrt{1-x^{2s}}}=\frac{1}{s}\,\frac{\pi}{2},$$
Ahora haciendo $s\to 0$, y observando que $1-x^{2s}\simeq -2s\log x$ (por la relga de L’Hopital), tendremos
$$\left(\int_0^1\frac{dx}{\sqrt{-\log x}}\right)^2=\pi.$$
En consecuencia
$$\int_0^\infty e^{-y^2}dy=\frac{\sqrt{\pi}}{2}.$$

Es muy probable que Gauss no conociese este resultado de Laplace; igual que Laplace desconociese los trabajos de Gauss; ambos genios eran autosuficientes. Sus demostraciones fueron diferentes. Esa es una diferencia de las matemáticas respecto de otras ciencias: Si un resultado es cierto podemos encontrar su demostración por diferentes caminos, a veces, aparentemente poco relacionados.

Esta entrada participa en la Edición 6.1 del Carnaval de Matemáticas cuyo anfitrión es Tito Eliatron Dixit.

Referencia

  • [1]Karl Pearson, Historical Note on the Origin of the Normal Curve of Errors,Biometrika Vol. 16, No. 3/4 (Dec., 1924), pp. 402-404
  • [2]Abraham de Moivre, “Approximatio ad Summam Terminorum Binomii $(a + b)^n$ in Seriem expansi, 1733.
  • [3] P. S. Laplace, Théorie analytique des Probabilités, 1812.
  • [4] P. S. Laplace, Memoire sur la probabilite des causes par les evenemens, Oeuvres Completes 8, 27-65. (English trans. by S. Stigler as Memoir on the Probability of Causes of Events, Statistical Science 1 (1986), 364-378.)
Did you like this? Share it:
Posted in Historia, Personajes | Tagged , , , | Leave a comment
feb 21

Entre percentiles, cuartiles y cuantiles

Comencemos con una cuestión simple: ¿qué es un percentil? La respuesta es sencilla: una medida no central usada en estadística que indica el valor de la variable por debajo del cual se encuentra un porcentaje dado de observaciones (definición estándar de la wiki).

Pongámonos un poco más exigentes: El percentil muestral de orden $p$ por ciento es aquel valor de dato que tiene la propiedad de que al menos el $p$ por ciento de los valores de datos son menores o iguales que él y que al menos el $(100-p)$ por ciento de los valores de datos son mayores o iguales que él.

origin-of-the-word-quartileEl primero en utilizar el término de percentil fue Francis Galton en 1885 (en [1] o [2]), que supervisó el trabajo de Donald McAlister, en el que aparece por primera vez el término de quartil[3]; o más bien, quartil superior y quartil inferior, en correspondencia con el percentil 75 y el percentil 25, respectivamente.

McAlister trataba de dividir la muestra de datos ordenados en cuatro partes porcentuales iguales (de ahí Quartiles) con la mediana justo en el medio. En un trabajo posterior Galton los mencionaría todos: Percentiles, Deciles y Quartiles.

 Weisstein, Eric W. "Quartile." From MathWorld--A Wolfram Web Resource. http://mathworld.wolfram.com/Quartile.html

Weisstein, Eric W. “Quartile.” From MathWorld–A Wolfram Web Resource. http://mathworld.wolfram.com/Quartile.html

El problema consiste en calcularlos. Sí, el problema. Si, por ejemplo, nos fijamos en la tabla de Weisstein, en MathWorld, vemos diferentes métodos para calcular los cuartiles de $n$ datos. Y, en todo caso, hablamos de observaciones discretas.

En el transcurso de poco más de 50 años los conceptos intuitivos de Percentiles, Deciles y Quartiles, fueron avanzando, como el mismo desarrollo de la teoría de la probabilidad. En particular,  cuando trabajando bajo la concepción esencialmente determinista del mundo en donde la ejecución repetida de un experimento, bajo condiciones presumiblemente coincidentes, siempre producía el mismo resultado, se observó que no era cierto: había variabilidad. Esta variabilidad de los resultados es la que trata de describir la teoría de la probabilidad y las variables aleatorias.

No nos entretengamos para llegar a 1940, cuando Kendall escribe Note on the Distribution of Quantiles for Large Samples [4]. Ahora los cuantiles pasaban a ser puntos tomados a intervalos regulares de la función de distribución de una variable aleatoria. Los cuantiles podemos usarlos por grupos que dividan la distribución en partes iguales; obteniendo sus hijos, los Percentiles, Deciles y Quartiles.

Pero, si un cuantil de orden $p$ de una distribución depende de esta, el cálculo de los cuantiles (digasé  Percentiles, Deciles y Quartiles) dependerá … Sin agobios, siempre tenemos el recurso de lo normal. Todo lo solucionamos con una distribución normal. Así, cómodamente, podremos explicar a nuestros alumnos cómo calcular los percentiles sin tenerles que angustiar con las distribuciones. Vamos que… las gallinas que entran por las que salen.

A fin de cuentas, como nos decía el Nobel Gabriel Lippman, la distribución normal es la ley en la cual todo el mundo cree firmemente, los matemáticos porque creen que es un hecho comprobado experimentalmente y los experimentales, porque creen que se trata de un teorema matemático[5].

Esta entrada participa en la Edición 6.1 del Carnaval de Matemáticas cuyo anfitrión es Tito Eliatron Dixit.

Referencias

Did you like this? Share it:
Posted in Historia, Personajes | Tagged , , , , , | Leave a comment
ene 27

Función Z: buscando primos

By Georg Friedrich Bernhard Riemann, 1826-1866. Monatsberichte der Berliner Akademie, November 1859 [Public domain or Public domain], via Wikimedia Commons

Hoy en día a todos conocemos (o, al menos, nos suena) la función zeta de Riemann, $$\zeta(s) = \sum_{n=1}^\infty \frac{1}{n^s},$$ para valores complejos con parte real mayor que uno. Posiblemente la hipótesis de Riemann sobre esta función sea el problema del siglo y quien lo resuelva pasará a los anales de las matemáticas. Deseo contaros es un poco de la historia que  condujo hacía Bernhard Riemann.

En 1737 Euler  (el maestro de todos los matemáticos, como lo llamaría William Dunham) probó la existencia de infinitos primos de una forma muy peculiar y original $$\sum_{n=1}^\infty \, \frac{1}{n^s}  = \prod_{p} \frac{1}{1-p^{-s}}(1), $$ para $s>1$.

Para ser precisos Euler concluyó que
$$\sum_{n=1}^\infty \, \frac{1}{n} = \prod_{p} \frac{1}{1-\frac{1}{p}}(2), $$
que equivalía a decir que el conjunto de números primos era infinito, pues sólo de esa forma el producto de la derecha sería divergente, de igual modo que la serie armónica de la izquierda. En el siglo XVIII de Euler no se las tenían con las precisiones y pulcritud demostrativa que Cauchy impondría en el siguiente siglo. Por ese motivo el resultado esperó hasta que Leopold Kronecker lo justificase con rigurosidad cauchiana en 1876, interpretando el resultado (2) como haciendo tender $s\to 1^+$ en $(1)$. No por ello las matemáticas dejarían de progresar. Este hallazgo sería el punto de partida para lo que se conocerá como teoría analítica de números.

Curiosamente el resultado cumbre de la teoría analítica de números, surge poco tiempo después del trabajo de Euler, una vez más de la mano de otro genio. Con sólo 14 años Gauss conjetura que
$$\lim_{\alpha\to\infty}\frac{\pi(\alpha)\ln\alpha}{\alpha}=1;$$
es decir, el número de primos que no exceden de $\alpha$ para valores cada vez más grandes de $\alpha$ se aproxima al cociente $\frac{\alpha}{\ln\alpha}$.

Gauss no lo probó, tampoco Adrien-Marie Legendre que lo reformuló en 1798. Tendríamos que esperarnos a 1896 para que lo hicieran, de forma independiente, Jacques Hadamard y Charles-Jean de la Vallée Poussin, ambas demostraciones basadas en el trabajo de Riemann sobre la función z.

Volvamos a 1837 cuando, otro de los grandes impulsores de la teoría analítica de números, entra en escena Johann Peter Gustav Lejeune Dirichlet. Dirichlet desea probar la conjetura de Gauss y utiliza el trabajo de Euler para crear primero la serie de Dirichlet y después las funciones L de Dirichlet: $$L(s,\chi) = \sum_{n=1}^\infty \frac{\chi(n)}{n^s},$$ donde $\chi$ es un carácter de Dirichlet y $s$ una variable compleja cuya componente real es mayor que 1. Estudiando esta serie Dirichlet prueba su célebre teorema relativo a los primos existentes en una progresión aritmética.

Y aquí llegamos a 1859 cuando Riemann publica Ueber die Anzahl der Primzahlen unter einer gegebenen Grösse, su ensayo Sobre el número de números primos menores que una cantidad dada. Riemann comienza el artículo diciendo:

No creo expresar mejor mi agradecimiento por la distinción que la Academia me ha hecho al nombrarme como uno de sus correspondientes que haciendo uso el privilegio que conlleva dicho nombramiento para comunicarle una investigación sobre la densidad de los números primos. Una materia que a causa del interés que Gauss y Dirichlet le han dedicado durante muchos años no parece indigna de una tal comunicación. Para esta investigación mi punto de salida es la observación de Euler…(*)

Este ensayo contendrá la archiconocida hipótesis de Riemann.

Esta entrada participa en la Edición 5.X: Sofia Kovalévskaya del Carnaval de Matemáticas, cuyo blog anfitrión es ::ZTFNews

(*) José Luis Muñoz, Rieman. Una visión nueva de la geometría. Nivola.

Did you like this? Share it:
Posted in Historia, Personajes | Tagged , , , | 4 Comments
ene 23

Halley y los 40 chelines

Edmund Halley.gif

Edmund Halley” by Thomas Murray – uploaded from http://www.phys.uu.nl/~vgent/astrology/newton.htm – Transferred from en.wikipedia – Original uploader was Lumos3. Licensed under Public Domain via Wikimedia Commons

Edmond Halley fue un gran astrónomo, además de matemático y físico. Debemos recordad que gracias a su empeño Isaac Newton publicó Philosophiæ naturalis principia mathematica. , considerada una de las obras científicas cumbre de la historia. Sin el esfuerzo de Halley en convencer a Newton para que lo escribiera y el dinero que puso para su publicación, es muy probable que esta obra nunca se hubiese publicado.

Es conocido que el encuentro de Edmund Halley con Newton se debió a una apuesta por encontrar la justificación de lo que su momento era una hipótesis: la fuerza gravitacional que mantenía a los planetas en sus órbitas era inversamente proporcional quizá al cuadrado de las distancia al Sol.

En 1673 Huygens había probado, de manera simplista, que si $T$ es el período, entonces la aceleración de un planeta, que se mueve con velocidad constante $v$ en una órbita circular de radio $r$, viene dada por $$a=\frac{(2\pi r/T)^2}{r}.$$

Utilizando  la tercera ley de Kepler, $T^2$ es proporcional a $r^3$, y por tanto $\frac{r^3}{T^2}$ es constante, y $a$ resulta inversamente proporcional a $r^2$. Suponiendo que la fuerza atractiva F(que en aquellos momentos todavía no esta muy claro lo de gravedad) es proporcional a la aceleración, se obtiene que $F$ es inversamente proporcional a $r^2$. Este planteamiento parece coherente, si no fuera porque contradecía las otras dos leyes de Kepler.

Así que, estando en esas, uno de los hombres de ciencia más adinerados de la Inglaterra de la Restauración, sir Christopher Wren, charlaba con dos amigos, discípulos, incluso colegas (Hooke, participó con él en la reconstrucción de Londres tras el famoso gran incendio de 1666), Edmund Halley y Robert Hooke. Halley era un recién llegado a la alta ciencia de la que Wren y Hooke disfrutaban de reconocida fama, ambos participaron en la creación de la primera sociedad científica de la historia, la Royal Society de Londres. En esa charla arrancó, sin ellos saberlo, el descubrimiento más importante de… (dejemos que el lector coloque los adjetivos y sustantivos que estime apropiados) Os pondré las palabras de Halley sobre como surgió la búsqueda de la Ley de gravitación.

Me encontré con Sir Christopher Wren y Mr. Hooke, y conversando sobre ello, Mr. Hooke afirmó que todas las leyes de los movimientos celestes debían fundarse sobre ese principio, y que él mismo lo había hecho. Yo confesé el fracaso de mis intentos; y Sir Christopher, para animar la investigación, dijo que nos daría dos meses de plazo para que Mr. Hooke o yo le expusiéramos una demostración convincente de ese hecho y, aparte del honor, aquel de nosotros que lo lograra recibiría un obsequio de 40 chelines. Mr Hooke dijo que ya la tenía, pero que la ocultaría durante algún tiempo, con el fin de que los demás, tras probar y fracasar, la apreciaran en su justo valor cuando la hiciera pública.(*)

Halley que no cejó en su intento por demostrarlo, pero sus matemáticas no estaban a la altura. Le aconsejaron que fuera a consultarle al profesor de la Cátedra Lucasina de la Universidad de Cambridge, un huraño profesor muy docto en matemáticas. En efecto, ese profesor era Isaac Newton y del primer encuentro que tuvieron surgió una de las grandes anécdotas de la historia de la ciencia.

Halley le comentó a Newton sus dificultades para probar la hipótesis, a lo que Newton le contestó que él ya lo había resuelto, pero que la demostración la había dejado olvidada en algún cajón. No era inmodestia, meses más tarde le enviaría una cuartilla a Halley con la demostración: ese fue el principio de una fructífera relación para la ciencia.

Epílogo

Los 40 chelines no se los llevó nadie (hay que decir que en aquellos años era una pequeña fortuna). Halley consiguió la demostración más tarde de la fecha para concluir el reto. Hooke no presentó la suya (si acaso la tenía). Tiempo después tendría una trifulca con Newton sobre la paternidad de la prueba. Hooke nunca presentó pruebas claras que atestiguaran su paternidad. Y Newton…, Newton nunca se prestaba para nimiedades.

Esta entrada participa en la Edición 5.X: Sofia Kovalévskaya del Carnaval de Matemáticas, cuyo blog anfitrión es ::ZTFNews

Esta entrada participa en la Edición LIX del Carnaval de la Física cuyo blog anfitrión es El Mundo de las Ideas.

(*) George F. Simmons, Ecuaciones Diferenciales con aplicaciones y notas históricas.

Did you like this? Share it:
Posted in Historia, Personajes | Tagged , , , | 1 Comment
ene 22

Kurtosis se escribe con K

KurtosisEn teoría de la probabilidad y estadística, la Kurtosis es una medida de la forma. Esta medida la introdujo Karl Pearson en 1905, hoy la traemos en otra de nuestras píldoras.

Esta entrada participa en la Edición 5.X: Sofia Kovalévskaya del Carnaval de Matemáticas, cuyo blog anfitrión es ::ZTFNews

Did you like this? Share it:
Posted in Historia, Ocio, Personajes | Tagged , , | 2 Comments
ene 16

La bruja de Agnesi

brujaagnesisEl 8 de enero de 1718 murio Maria Gaetana Agnesi, una eminete matemática que perdura en el saber popular por un ejemplo que lleva su nombre. La bruja de Agnesi es una curva que utilizó como ejemplo Maria Agnesi y cuyo uso posterior por parte del inglés Colson llevó a equivocar el nombre original aversiera de Agnesis por bruja de Agnesi.

Did you like this? Share it:
Posted in Historia, Personajes | Tagged , , , | Leave a comment