Mostrando entradas con la etiqueta 746. Mostrar todas las entradas
Mostrando entradas con la etiqueta 746. Mostrar todas las entradas

martes, 26 de marzo de 2013

The Lending Club - parte I

El Lending Club es un portal de internet que reúne a inversionistas y prestatarios. Según la información en su portal (http://www.lendingclub.com), los inversionistas obtienen mayores márgenes de rentabilidad que los que obtendrían a través de otros instrumentos de inversión más tradicionales, mientras que los prestatarios, que pueden obtener créditos personales de hasta $35000, terminan pagando tasas de intereses un poco más bajas que las de la banca convencional. Para optar a un crédito, los prestatarios deben reunir ciertos requisitos: una puntuación crediticia mínima de 660 puntos FICO, un coeficiente de deuda a ingresos máximo de 35%, por lo menos dos líneas crediticias activas, entre otros. La información de cada solicitud de crédito se evalúa y se "publica" el préstamo en el portal a determinada tasa de interés fijo y a un plazo determinado para captar inversionistas. Y por supuesto, el Lending Club cobra una comisión en intereses por cada préstamo tramitado.

Es menester explicar algunos términos que se emplean en el contexto crediticio estadounidense, como por ejemplo la puntuación FICO. Básicamente, la puntuación FICO representa la calificación crediticia de un individuo. Es un número en el rango de 300 a 850, donde los valores más altos representan mejores historiales crediticios. La puntuación FICO influye de manera determinante sobre la decisión de otorgar o negar préstamos y sobre las tasas de interés de esos prestamos. Puede leer más sobre esto en ¿Qué es el puntaje de crédito FICO?. Otro factor que influye sobre el otorgamiento de créditos son los denominados inquiries o indagaciones, que son la cantidad de veces que algún comercio ha solicitado una copia certificada del reporte crediticio de un individuo que es emitido por alguna de las tres agencias que otorgan la calificación FICO en Estados Unidos. Por último, es preciso destacar que los créditos del Lending Club se otorgan sin garantía hipotecaria.

Desde la página web del Lending Club se puede descargar la data referente a miles de solicitudes de crédito que se han tramitado por este portal. Cada solicitud contiene data sobre el historial crediticio del solicitante, alguna data personal y financiera (como por ejemplo los ingresos mensuales, tiempo en el empleo actual, etc.), el monto solicitado y el propósito del préstamo y finalmente, la tasa de interés fija del crédito aprobado.

Supongamos ahora que Ud. está creando un portal similar al Lending Club y desea saber lo siguiente:

¿Cuales son los mecanismos que usa el Lending Club para fijar las tasas de interés de un crédito? ¿Cuales otros factores, aparte de la calificación FICO, influyen sobre este cálculo y cómo?

El problema anterior fue planteado como trabajo práctico para un curso on-line que acabo de culminar, llamado "Data Analysis", facilitado por el Profesor Jeff Leek de la Universidad John Hopkins-Bloomberg. Originalmente, para esta asignación había que aplicar un proceso preparatorio de la data (conocido como data munging) para poder tener una data con la cual se pueda trabajar. En la vida real, es necesario preparar los datos antes de poderlos procesar en R o cualquier aplicación estadística, pues los datos en su forma original (en una página web o un informe en pdf) muchas veces no están aptos para ser procesados estadísticamente. En esta oportunidad, yo les facilitaré los datos en una forma directamente utilizable en R (como un archivo con extensión .Rda), pues mi intención en esta serie de entradas sobre el problema del Lending Club es ilustrar cómo

  • Realizar un análisis exploratorio de datos para descubrir las posibles asociaciones entre las variables. Esto se hará en la segunda parte de esta entrada
  • Construir algunos modelos de regresión lineal, evaluarlos y compararlos entre sí.
  • Detectar algunos problemas que surgen en la regresión lineal: variables de confusión, multicolinealidad, asociaciones no lineales entre las variables, heteroscedasticidad de los residuos, entre otros. Estos dos últimos se abordarán en la tercera y última parte de esta serie de entradas.

Espero que esta serie de entradas les sea de utilidad a los cursantes de las asignaturas 746, 738 y 748, quienes deben realizar un trabajo práctico sobre regresión lineal. En las próximas entradas desarrollaré los puntos mencionados arriba. Utilizaré para ello el lenguaje R y como de costumbre, podrán ver las instrucciones en R utilizadas y la interpretación de los resultados que estas arrojan y de esta forma reproducir los análisis que se harán.


Como citar esta entrada

Romero, J. (Marzo, 2013). The Lending Club - parte I. [Entrada de blog]. Recuperado desde http://unamatematicaseltigre.blogspot.com/2013/03/the-lending-club-parte-i.html.


Si te gustó o te pareció útil este contenido, compártelo en las redes sociales y dale tu voto positivo en el botón "me gusta" de G+, para que otros puedan encontrar el contenido también.

martes, 19 de marzo de 2013

Observaciones sobre el trabajo de estadística (regresión lineal) del semestre 2013-1

He visto que algunos tienen dudas respecto al trabajo de estadística para este semestre, en particular lo referente a la regresión lineal, que forma parte de los objetivos a evaluar para las asignaturas 745, 738 y 748.

Primero, debo aclarar, una vez más, lo siguiente:
NO ES OBLIGATORIO EL USO DE R PARA LA REALIZACIÓN DE ESTE TRABAJO.  POR RAZONES HARTO EXPLICADAS EN ESTA PÁGINA, YO RECOMIENDO EL USO DE R, PERO EL ESTUDIANTE PUEDE OPTAR POR USAR EXCEL, SAS, SPSS, MINITAB O CUALQUIER APLICACION ESTADÍSTICA (Excel es un programa de hoja de cálculo, no una aplicación para la estadística). LO QUE SE REQUIERE ES REALIZAR LAS ACTIVIDADES QUE SE PIDEN EN EL ENUNCIADO CORRECTAMENTE.
Al momento de elegir la aplicación con la cual trabajarán, deben preguntarse: ¿Qué es lo que se requiere que el estudiante realice correctamente?  Se copia la parte del enunciado detallando las actividades a realizar:

6.1. Obtener los siguientes modelos de regresión lineal múltiple,
        Modelo 1: Y = b0 + b1 X1 + b2 X2 + b3 X3 + b4 X4 + b6 X6 +b7 X7 + b8 X8 + b9 X9
        Modelo 2: Y = b1 X1 + b2 X2 + b3 X3 + b4 X4 + b6 X6 + b7 X7 + b8 X8 + b9 X9
6.2. Explicar cual de los modelos anteriores consideraría para realizar el estudio.
6.3. Estudiar la posibilidad de colinealidad o multicolinealidad en el modelo
        considerado en la pregunta anterior. Si existe, corregir este problema y obtener el
        nuevo modelo.
6.4. Partiendo del modelo obtenido en la pregunta 6.3, explicar todos los resultados
        arrojados por el programa (coeficientes y estadísticos).
6.5. Utilizar el procedimiento de regresión paso a paso (eliminación hacia atrás) para
        encontrar el modelo que mejor se ajusta. Interprete los coeficientes de este último
        modelo.
6.6. Considere una nueva variable,
        X11=(X3+X4)/2.
        Construir el siguiente modelo,
        Y = b1 X1 + b2 X2 + b7 X7 + b8 X8 + b9 X9 + b11 X11
        Realizar el procedimiento indicado en 6.5.
6.7. Explicar cual de los modelos obtenidos en 6.5 y 6.6 representa “mejor” la situación
         bajo estudio.
6.8. Realizar un análisis de residuos para los modelos obtenidos en los puntos 6.5
        y 6.6.
6.9. Explicar los fundamentos teóricos que justifican o no, todos los pasos seguidos
        desde el ítem 6.1. hasta el ítem 6.8.

Antes de elaborar el trabajo, asegúrese de manejar los fundamentos de la técnica de regresión lineal.  ¿Sabe usted qué es la regresión lineal y qué es un modelo de regresión lineal? ¿Sabe en qué consiste un análisis de residuos y cuál es la importancia de realizarlo? ¿Sabe en que consiste el procedimiento de regresión paso a paso (eliminación hacia atrás)? ¿Sabe cómo determinar la colinealidad entre dos variables? ¿Entre múltiples variables? ¿Sabe porqué es problemático  trabajar con variables predictoras que sean colineales entre sí? ¿Sabe cómo evaluar o comparar modelos y cómo esto va más allá de comparar sus coeficiente de determinación? ¿Sabe cómo interpretar un modelo de regresión lineal y determinar cuales variables predictoras son significativas? ¿Sabía que las variables categóricas no se pueden utilizar directamente como variables cuantitativas sin antes transformarlas en variables indicadoras?

He puesto a su alcance ciertos recursos que serán de utilidad.  En la parte inferior de la página http://unamatematicaseltigre.blogspot.com/p/estadistica-aplicada.html podrán ubicar la bibliografía más relevante.  Los capítulos 13 y 14 del Canavos tratan en detalle el tema de la regresión lineal, incluyendo información detallada sobre el problema de la multicolinealidad, las variables indicadoras y el análisis de residuos.  El Webster no es tan extenso, pero lo menciono porque es el texto principal de la asignatura.  Además de esto, he escrito una monografía sobre el análisis de residuos cuya lectura recomiendo.

Me he dedicado laboriosamente a poner a su alcance varias herramientas computacionales y guias tutoriales sobre su uso.   Consideren estos recursos cómo herramientas- su buen uso depende del criterio de ustedes y de lo que desean realizar.  Si optan por usar R y la librería estUNA que he creado para tal fin, estudien detenidamente los siguientes recursos:


Si optan por usar R con mi librería y presentan problemas con su descarga o uso, deben describir detalladamente el error que presentan.  Si sólo me indican que "no logran usar el R", o "me sale un error", sin indicar la secuencia de comandos que están intentando ejecutar, cuál es la salida del interprete y el aviso de error, cuál plataforma/sistema operativo o versión de R están usando, no les puedo ser de mucha ayuda.  Tampoco haré el trabajo por ustedes.


Si te gustó o te pareció útil este contenido, compártelo en las redes sociales y dale tu voto positivo en el botón "me gusta" de G+, para que otros puedan encontrar el contenido también.

miércoles, 13 de marzo de 2013

Trabajos de estadística para el semestre 2013-1

Ya están disponibles los enunciados para los trabajos prácticos de estadística del semestre 2013-1, elaborados por Nivel Central.  Los enlaces se dan a continuación (según http://areamatematicas.galeon.com/):

Sobre las fechas de entrega, se ha escrito en los enunciados lo siguiente:

La evaluación del trabajo comprende dos entregas obligatorias:
  • 1era Entrega: primera versión del informe final entre el 15/04/2013 y el 20/04/2013, en esta oportunidad el trabajo será revisado por el asesor y el participante debe registrar las observaciones pertinentes a fin de realizar las correcciones, pues el trabajo lo retiene el asesor hasta la entrega final con el objeto de verificar que las correcciones fueron realizadas.
  • 2da Entrega: Versión final del trabajo entre el 20/05/2013 y el 25/05/2013
    improrrogable. De no respetar las dos entregas en los lapsos correspondientes queda a discreción del asesor considerar reprobado el trabajo.

Cómo de costumbre, las entregas se pueden hacer enviando a mi correo el informe en Open Office, PDF o Word (ojo, versión 2003, no enviar en versión 2007 o posterior).

Les recomiendo (aunque no es obligatorio) el uso de R para la elaboración de este trabajo.  La data para este semestre ya está incorporada en mi librería estUNA.

Si te gustó o te pareció útil este contenido, compártelo en las redes sociales y dale tu voto positivo en el botón "me gusta" de G+, para que otros puedan encontrar el contenido también.

lunes, 12 de noviembre de 2012

El Teorema del Límite Central - U.N.A. dramatización

Profesor - El Teorema del Límite Central establece que la suma de toda secuencia de variables aleatorias independientes e idénticamente distribuidas con media y varianza finitas es asintóticamente normal.

Los estudiantes se miran los unos a otros con cara de no entender nada. Típico en una clase de probabilidad y estadística.

Profesor - ¿Todos entendieron? ¿Alguien tiene preguntas?

Se escucha un cri-cri como el de una serenata nocturna de grillos. Aparte de eso, un silencio ensordecedor. Después de cinco minutos de incómodo silencio, un estudiante levanta la mano...

Profesor - ¿Cual es tu pregunta, Miguel?

Miguel - Profesor, ¿puede traducir eso al castellano?

El profesor respira profundo...

Profesor - Ok. Imagínense que tenemos una secuencia de variables aleatorias, todas con la misma distribución e independientes entre sí. Por ejemplo, una muestra de tamaño n podría constituir tal secuencia: todos los elementos de la muestra, los Xi, tienen la misma distribución de probabilidad porque son muestras de la misma población. Además, si la muestra es aleatoria, se garantiza que todas las variables aleatorias de la secuencia son estocásticamente independientes...

La clase - ¿esto- qué?

Profesor - estocásticamente independientes, es decir - probabilísticamente independientes. Esto se garantiza porque en una muestra aleatoria, ninguna observación condiciona las otras. En otras palabras, las variables aleatorias que constituyen la muestra son estocásticamente independientes. ¿Me siguen?

La clase asiente con un movimiento de cabeza afirmativo.
 

Profesor - Seguimos. Con una secuencia de variables aleatorias como la que he descrito, podemos definir una nueva variable aleatoria como la suma de todas ellas. Por ejemplo, la media muestral

\[\overline{X}=\sum_{i=1}^n X_i\]
es esencialmente una suma de las variables aleatorias \(X_i\) que constituyen la muestra. Pues bien, el Teorema del Límite Central afirma que \(\overline{X}\) es una variable aleatoria distribuida normalmente, siempre y cuando \(n\)- el tamaño de la muestra - sea lo "suficientemente" grande. Mientras más grande sea \(n\), más se parece la distribución de \(\overline{X}\) a una distribución normal. Sin importar cuál sea la distribución de probabilidad de la población de origen, es decir, de cada uno de los \(X_i\).
El profesor hace una pausa para dejar que la idea de lo que acaba de afirmar decante lentamente en la cabeza de los estudiantes. Algunos de entre ellos asumen una expresión reflexiva, como sumidos en sus propios pensamientos...

Profesor - Vamos a explicar mediante un ejemplo. Supongamos que extraemos una muestra de una población exponencialmente distribuida, cuya curva de densidad, por cierto, es como esta:
distribucion-exponencial
Pueden observar que la curva de densidad exponencial no se parece en nada a la curva de densidad normal, que tiene una forma acampanada y es simétrica en torno a la "cima" de la campana.
curva normal
A nadie se le ocurriría, de buenas a primeras, que si yo tomo una muestra aleatoria de 100 observaciones (Xi) de una población exponencialmente distribuida y las promedio, los valores de estos promedios, conforme varía la muestra aleatoria, se distribuyen normalmente. Y sin embargo, esto es justamente lo que afirma el Teorema del Límite Central.

Algunos estudiantes parecen sorprendidos.
 
Profesor - Se pueden imaginar lo útil que es este teorema. Por ejemplo, si quiero hacer inferencia sobre la media de una población, utilizaría la media muestral para estimar dicho parámetro. Me sería de mucha utilidad saber que la media muestral, si la muestra es de tamaño suficientemente grande, es normalmente distribuida. Este hecho es independiente del tipo de distribución de la población de origen.
El profesor mira alrededor y se complace al ver que la clase ha comenzado a comprender su "traducción" al castellano.

Profesor - Por supuesto, este teorema, como todo teorema, tiene su demostración matemática. Pero no se preocupen, no los voy a hacer padecer con una demostración matemática en clase. Vamos en cambio a ilustrar cómo funciona este teorema mediante una simulación por computadora.

En una simulación, tomamos una muestra de \(n\) números aleatorios y los promediamos. Repetimos este proceso muchísimas veces (quizás cien mil veces), registrando el promedio observado cada vez. Como resultado, tendríamos a su vez una muestra muy grande de promedios muestrales, lo cual nos permitiría ver, mediante un histograma por ejemplo, cuál es la distribución de ese promedio. Según el Teorema del Límite Central, la distribución del promedio debería ser normal si \(n<\) es lo suficientemente grande.

En la siguiente animación, podrán ver la distribución del promedio muestral a medida que el tamaño de la muestra varía de \(n=1\) hasta \(n=100\). Para \(n=1\), el histograma del promedio es como el de una distribución exponencial y no se parece en nada a la forma acampanada de la normal. Sin embargo, a medida que \(n\) aumenta, la distribución del promedio se va haciendo rápidamente más "normal".
Teorema Central del Límite


Profesor - La simulación, más precisamente, el archivo .GIF animado que vieron, fue hecha en lenguaje R mediante el siguiente script. A los que les dé curiosidad esto, pueden tomar este script y correrlo en su computadora. Pueden inclusive considerar otras distribuciones en vez de la exponencial. El resultado siempre será el mismo- el promedio muestral se distribuye normalmente para valores de n lo suficientemente grandes. Para efectos prácticos, pueden considerar el promedio muestral como normalmente distribuido a partir de n=30.
#abre el dispositivo grafico para crear archivos PNG
png("cl%03d.png")
#El tamaño de la muestra en cada iteración de la
#simulación es 100000
N <- 100000
#define el tamaño de la muestra para el cálculo de la media
#muestral
secuencia <- c(1,(1:20)*5)
for (i in secuencia) {
  #genera N muestras de la media muestral por simulación,
  #todas provenientes de una población exponencial
  x <- replicate(N,mean(rexp(i,rate=0.5)))
  #grafica la curva de densidad normal
  w <- 2/sqrt(i)*3
  curve(dnorm(x,mean=2,sd=2/sqrt(i)),from=2-w, to=2+w,
      col="slateblue", ylab="f(x)")
  title(main=list(paste("n=",i),col="darkgreen",cex=4))
  legend(x=2+w*0.3,y=dnorm(2,mean=2,sd=2/sqrt(i))*1.05,
      legend=c("densidad normal","núcleo de densidad"),
      fill=c("slateblue","darkred"),cex=1.05)
  #grafica la curva del nucleo de densidad
  nd <- density(x)
  lines(nd$x,nd$y,col="darkred")
  #grafica el histograma
  hist(x,freq=FALSE,add=TRUE)
}
graphics.off()
#listo.
#Ahora convierte los archivos .PNG en un .GIF animado.
#(Nota: requiere los programas de ImageMagick)
system("convert -delay 30 *.png cl.gif")
Algunos estudiantes prenden sus laptops y comienzan a copiar el script en la pizarra para probar la simulación ellos mismos.
Profesor - Antes de que se entusiasmen demasiado corriendo este script de simulación, quisiera hacerles un comentario final como nota curiosa. He dicho varias veces que el promedio muestral, o más generalmente, la suma de una secuencia de variables aleatorias, es normalmente distribuida a medida que n se hace mayor, sin importar como está distribuida la población de origen. Esto no es del todo cierto, pero no se los quise decir antes para no confundirlos. Por ejemplo, consideren esta gráfica de una función de densidad:
Cauchy

Profesor - Se parece a la gráfica de la función de densidad normal, ¿no? Pues esta gráfica, de apariencia inocente y acampanada, se corresponde a la función de densidad de una distribución conocida como la distribución de Cauchy. Para esta distribución diabólica, el Teorema del Límite Central falla. ¿Saben porqué?

El profesor hace una pausa, para crear un efecto dramático de suspenso en clase.

Profesor - La distribución de Cauchy no tiene esperanza finita ni varianza finita. Ambas, esperanza y varianza, son infinitas. Al principio de clase, cuando enuncie el Teorema del Límite Central, dije que la distribución de la suma de una secuencia de variables aleatorias independientes y equidistribuidas era asintóticamente normal si la población de origen era de esperanza y varianza finitas. Con la distribución de Cauchy, ese no es el caso. La moraleja es que siempre deben leer la letra pequeña de los teoremas con cuidado y la otra moraleja es que no todo lo que es acampanado es normal.

Fin de la lección. Plaudit amici, comedia finit est.

Si te gustó o te pareció útil este contenido, compártelo en las redes sociales y dale tu voto positivo en el botón "me gusta" de G+, para que otros puedan encontrar el contenido también.

jueves, 11 de octubre de 2012

Los trabajos prácticos de estadística y el lenguaje R

Estoy elaborando actualmente una página con información sobre el lenguaje R orientada a la elaboración de los trabajos prácticos de las materias de estadística que asesoro. En esta página se suministra información sobre cómo instalar y comenzar a usar este software. He creado una librería complementaria en R que contiene la data de estos trabajos para varios semestres y funciones que facilitan la elaboración de los trabajos prácticos. Se llama estUNA.

Quisiera aclarar que aunque no es obligatorio el uso de R, facilita bastante las cosas. Por otro lado, mi criterio de evaluación para estos trabajos es que realicen todas las actividades señaladas en el enunciado correctamente, utilizando algún tipo de software de cálculo para ello.

Si te gustó o te pareció útil este contenido, compártelo en las redes sociales y dale tu voto positivo en el botón "me gusta" de G+, para que otros puedan encontrar el contenido también.

viernes, 20 de julio de 2012

Publicación de los trabajos de estadística

Hola a todos:

Finalmente se han publicado los enunciados de los trabajos de estadística para las asignaturas 745, 746 y 738/748.  Aquí está el enlace para su descarga.   Deben descargar los archivos de la data y las normas para la elaboración de estos trabajos.

La evaluación del trabajo comprende dos entregas obligatorias:
1era Entrega: primera versión del informe final entre el 24/09/2012 y el 13/10/2012,
en esta oportunidad el trabajo será revisado por el asesor y el participante debe registrar las observaciones pertinentes a fin de realizar las correcciones, pues el trabajo lo retiene el asesor hasta la entrega final con el objeto de verificar que las correcciones fueron realizadas.
2da Entrega: Versión final del trabajo entre el 12/11/2012 y el 17/11/2012
improrrogable. De no respetar las dos entregas en los lapsos correspondientes queda a discreción del asesor considerar reprobado el trabajo.

Información tomada del grupo Multiply admycontuna.

Si te gustó o te pareció útil este contenido, compártelo en las redes sociales y dale tu voto positivo en el botón "me gusta" de G+, para que otros puedan encontrar el contenido también.