Classification

#1
Perhaps you can help me with a problem?

I have a file which after a simple model classification which gives very lumpy results.

Gode_str Total Prosent Badrate
b g b g
prb_001 .91295 125 1311 1436 16 % 2 % 0,19 %
.95905 276 6464 6740 36 % 10 % 0,42 %
.96560 14 393 407 2 % 1 % 0,02 %
.96893 33 1029 1062 4 % 2 % 0,05 %
.97710 46 1963 2009 6 % 3 % 0,07 %
.98103 33 1707 1740 4 % 3 % 0,05 %
.98800 12 988 1000 2 % 2 % 0,02 %
.98947 1 94 95 0 % 0 % 0,00 %
.98976 120 11596 11716 16 % 18 % 0,18 %
.99010 6 600 606 1 % 1 % 0,01 %
.99068 3 319 322 0 % 0 % 0,00 %
.99395 7 1150 1157 1 % 2 % 0,01 %
.99651 38 10856 10894 5 % 17 % 0,06 %
.99823 44 24866 24910 6 % 38 % 0,07 %
1.00000 0 1260 1260 0 % 2 % 0,00 %



I have tried successfully to classify them with a very complex model...
Good_Bad_Indicator Total Prosent Badrate
Bad Good b g
pre_001 .0000 13 0 13 2 % 0 % 0,02 %
.2000 4 1 5 1 % 0 % 0,01 %
.5000 11 11 22 1 % 0 % 0,02 %
.5714 3 4 7 0 % 0 % 0,00 %
.6667 6 12 18 1 % 0 % 0,01 %
.7143 4 10 14 1 % 0 % 0,01 %
.7273 3 8 11 0 % 0 % 0,00 %
.7333 8 22 30 1 % 0 % 0,01 %
.7500 14 42 56 2 % 0 % 0,02 %
.7679 13 43 56 2 % 0 % 0,02 %
.7778 4 14 18 1 % 0 % 0,01 %
.7813 7 25 32 1 % 0 % 0,01 %
.8000 11 44 55 1 % 0 % 0,02 %
.8108 7 30 37 1 % 0 % 0,01 %
.8125 3 13 16 0 % 0 % 0,00 %
.8182 2 9 11 0 % 0 % 0,00 %
.8214 5 23 28 1 % 0 % 0,01 %
.8333 14 70 84 2 % 0 % 0,02 %
.8400 4 21 25 1 % 0 % 0,01 %
.8462 4 22 26 1 % 0 % 0,01 %
.8500 6 34 40 1 % 0 % 0,01 %
.8511 7 40 47 1 % 0 % 0,01 %
.8545 8 47 55 1 % 0 % 0,01 %
.8571 7 42 49 1 % 0 % 0,01 %
.8621 8 50 58 1 % 0 % 0,01 %
.8644 8 51 59 1 % 0 % 0,01 %
.8649 5 32 37 1 % 0 % 0,01 %
.8696 6 40 46 1 % 0 % 0,01 %
.8710 4 27 31 1 % 0 % 0,01 %
.8750 6 42 48 1 % 0 % 0,01 %
.8788 4 29 33 1 % 0 % 0,01 %
.8864 5 39 44 1 % 0 % 0,01 %
.8889 13 104 117 2 % 0 % 0,02 %
.8929 3 25 28 0 % 0 % 0,00 %
.8966 3 26 29 0 % 0 % 0,00 %
.8980 5 44 49 1 % 0 % 0,01 %
.9000 4 36 40 1 % 0 % 0,01 %
.9011 9 82 91 1 % 0 % 0,01 %
.9057 5 48 53 1 % 0 % 0,01 %
.9059 8 77 85 1 % 0 % 0,01 %
.9067 7 68 75 1 % 0 % 0,01 %
.9074 5 49 54 1 % 0 % 0,01 %
.9091 6 60 66 1 % 0 % 0,01 %
.9107 5 51 56 1 % 0 % 0,01 %
.9114 7 72 79 1 % 0 % 0,01 %
.9155 6 65 71 1 % 0 % 0,01 %
.9167 10 110 120 1 % 0 % 0,02 %
.9189 6 68 74 1 % 0 % 0,01 %
.9200 2 23 25 0 % 0 % 0,00 %
.9216 4 47 51 1 % 0 % 0,01 %
.9219 5 59 64 1 % 0 % 0,01 %
.9221 6 71 77 1 % 0 % 0,01 %
.9231 19 228 247 3 % 0 % 0,03 %
.9259 8 100 108 1 % 0 % 0,01 %
.9273 4 51 55 1 % 0 % 0,01 %
.9275 5 64 69 1 % 0 % 0,01 %
.9286 3 39 42 0 % 0 % 0,00 %
.9286 4 52 56 1 % 0 % 0,01 %
.9298 4 53 57 1 % 0 % 0,01 %
.9333 6 84 90 1 % 0 % 0,01 %
.9348 9 129 138 1 % 0 % 0,01 %
.9355 4 58 62 1 % 0 % 0,01 %
.9362 9 132 141 1 % 0 % 0,01 %
.9375 9 135 144 1 % 0 % 0,01 %
.9383 5 76 81 1 % 0 % 0,01 %
.9388 3 46 49 0 % 0 % 0,00 %
.9394 10 155 165 1 % 0 % 0,02 %
.9412 5 80 85 1 % 0 % 0,01 %
.9429 4 66 70 1 % 0 % 0,01 %
.9432 5 83 88 1 % 0 % 0,01 %
.9434 3 50 53 0 % 0 % 0,00 %
.9444 3 51 54 0 % 0 % 0,00 %
.9459 4 70 74 1 % 0 % 0,01 %
.9479 5 91 96 1 % 0 % 0,01 %
.9481 4 73 77 1 % 0 % 0,01 %
.9500 3 57 60 0 % 0 % 0,00 %
.9516 6 118 124 1 % 0 % 0,01 %
.9518 4 79 83 1 % 0 % 0,01 %
.9524 5 100 105 1 % 0 % 0,01 %
.9531 6 122 128 1 % 0 % 0,01 %
.9535 4 82 86 1 % 0 % 0,01 %
.9545 10 210 220 1 % 0 % 0,02 %
.9556 2 43 45 0 % 0 % 0,00 %
.9565 4 88 92 1 % 0 % 0,01 %
.9574 2 45 47 0 % 0 % 0,00 %
.9583 1 23 24 0 % 0 % 0,00 %
.9608 2 49 51 0 % 0 % 0,00 %
.9615 1 25 26 0 % 0 % 0,00 %
.9623 4 102 106 1 % 0 % 0,01 %
.9630 3 78 81 0 % 0 % 0,00 %
.9643 10 270 280 1 % 0 % 0,02 %
.9649 2 55 57 0 % 0 % 0,00 %
.9655 3 84 87 0 % 0 % 0,00 %
.9655 2 56 58 0 % 0 % 0,00 %
.9661 2 57 59 0 % 0 % 0,00 %
.9663 3 86 89 0 % 0 % 0,00 %
.9667 2 58 60 0 % 0 % 0,00 %
.9677 8 240 248 1 % 0 % 0,01 %
.9688 2 62 64 0 % 0 % 0,00 %
.9692 2 63 65 0 % 0 % 0,00 %
.9697 3 96 99 0 % 0 % 0,00 %
.9706 4 132 136 1 % 0 % 0,01 %
.9718 2 69 71 0 % 0 % 0,00 %
.9720 3 104 107 0 % 0 % 0,00 %
.9722 4 140 144 1 % 0 % 0,01 %
.9726 2 71 73 0 % 0 % 0,00 %
.9730 1 36 37 0 % 0 % 0,00 %
.9733 2 73 75 0 % 0 % 0,00 %
.9737 1 37 38 0 % 0 % 0,00 %
.9744 2 76 78 0 % 0 % 0,00 %
.9750 4 156 160 1 % 0 % 0,01 %
.9753 4 158 162 1 % 0 % 0,01 %
.9756 2 80 82 0 % 0 % 0,00 %
.9759 4 162 166 1 % 0 % 0,01 %
.9762 1 41 42 0 % 0 % 0,00 %
.9767 4 168 172 1 % 0 % 0,01 %
.9778 2 88 90 0 % 0 % 0,00 %
.9783 2 90 92 0 % 0 % 0,00 %
.9785 2 91 93 0 % 0 % 0,00 %
.9787 1 46 47 0 % 0 % 0,00 %
.9792 1 47 48 0 % 0 % 0,00 %
.9798 4 194 198 1 % 0 % 0,01 %
.9800 1 49 50 0 % 0 % 0,00 %
.9804 2 100 102 0 % 0 % 0,00 %
.9808 3 153 156 0 % 0 % 0,00 %
.9811 6 312 318 1 % 0 % 0,01 %
.9815 1 53 54 0 % 0 % 0,00 %
.9818 3 162 165 0 % 0 % 0,00 %
.9825 1 56 57 0 % 0 % 0,00 %
.9828 1 57 58 0 % 0 % 0,00 %
.9836 1 60 61 0 % 0 % 0,00 %
.9839 2 122 124 0 % 0 % 0,00 %
.9841 1 62 63 0 % 0 % 0,00 %
.9844 1 63 64 0 % 0 % 0,00 %
.9847 2 129 131 0 % 0 % 0,00 %
.9848 1 65 66 0 % 0 % 0,00 %
.9853 2 134 136 0 % 0 % 0,00 %
.9855 1 68 69 0 % 0 % 0,00 %
.9857 1 69 70 0 % 0 % 0,00 %
.9859 2 140 142 0 % 0 % 0,00 %
.9862 2 143 145 0 % 0 % 0,00 %
.9863 1 72 73 0 % 0 % 0,00 %
.9865 1 73 74 0 % 0 % 0,00 %
.9866 4 294 298 1 % 0 % 0,01 %
.9867 2 148 150 0 % 0 % 0,00 %
.9868 1 75 76 0 % 0 % 0,00 %
.9870 1 76 77 0 % 0 % 0,00 %
.9873 1 78 79 0 % 0 % 0,00 %
.9877 4 322 326 1 % 0 % 0,01 %
.9880 1 82 83 0 % 0 % 0,00 %
.9881 2 166 168 0 % 0 % 0,00 %
.9882 1 84 85 0 % 0 % 0,00 %
.9884 2 170 172 0 % 0 % 0,00 %
.9885 1 86 87 0 % 0 % 0,00 %
.9886 1 87 88 0 % 0 % 0,00 %
.9888 10 884 894 1 % 1 % 0,02 %
.9889 1 89 90 0 % 0 % 0,00 %
.9890 2 180 182 0 % 0 % 0,00 %
.9891 1 91 92 0 % 0 % 0,00 %
.9892 2 184 186 0 % 0 % 0,00 %
.9894 1 93 94 0 % 0 % 0,00 %
.9895 1 94 95 0 % 0 % 0,00 %
.9895 3 282 285 0 % 0 % 0,00 %
.9896 1 95 96 0 % 0 % 0,00 %
.9897 1 96 97 0 % 0 % 0,00 %
.9898 2 194 196 0 % 0 % 0,00 %
.9899 2 196 198 0 % 0 % 0,00 %
.9901 1 100 101 0 % 0 % 0,00 %
.9905 2 209 211 0 % 0 % 0,00 %
.9907 1 106 107 0 % 0 % 0,00 %
.9909 2 218 220 0 % 0 % 0,00 %
.9910 1 110 111 0 % 0 % 0,00 %
.9911 2 222 224 0 % 0 % 0,00 %
.9913 1 114 115 0 % 0 % 0,00 %
.9915 1 116 117 0 % 0 % 0,00 %
.9919 5 610 615 1 % 1 % 0,01 %
.9920 1 124 125 0 % 0 % 0,00 %
.9924 1 131 132 0 % 0 % 0,00 %
.9932 1 145 146 0 % 0 % 0,00 %
.9934 1 151 152 0 % 0 % 0,00 %
.9935 2 305 307 0 % 0 % 0,00 %
.9941 2 339 341 0 % 1 % 0,00 %
.9951 1 204 205 0 % 0 % 0,00 %
.9952 1 206 207 0 % 0 % 0,00 %
.9953 1 211 212 0 % 0 % 0,00 %
.9958 1 235 236 0 % 0 % 0,00 %
.9958 1 239 240 0 % 0 % 0,00 %
.9959 4 965 969 1 % 1 % 0,01 %
.9959 1 244 245 0 % 0 % 0,00 %
.9961 1 258 259 0 % 0 % 0,00 %
.9965 1 284 285 0 % 0 % 0,00 %
.9965 4 1146 1150 1 % 2 % 0,01 %
.9967 1 304 305 0 % 0 % 0,00 %
.9968 1 307 308 0 % 0 % 0,00 %
.9970 2 664 666 0 % 1 % 0,00 %
.9971 1 341 342 0 % 1 % 0,00 %
.9974 1 377 378 0 % 1 % 0,00 %
.9974 1 381 382 0 % 1 % 0,00 %
.9979 2 929 931 0 % 1 % 0,00 %
.9980 1 496 497 0 % 1 % 0,00 %
.9985 2 1377 1379 0 % 2 % 0,00 %
.9986 1 695 696 0 % 1 % 0,00 %
.9987 3 2245 2248 0 % 3 % 0,00 %
.9988 1 804 805 0 % 1 % 0,00 %
.9989 1 886 887 0 % 1 % 0,00 %
1.0000 0 33055 33055 0 % 51 % 0,00 %
Total 758 64596 65354

However I am very uncertain about the significance level when I only have one bad in each score. There should have been more bads in the portfolio in order to easier split the groups. What is the minimum level of bads in each group ?
Since I don't have an opinion or an expected level of bads in each group for this portfolio, I can't figure out how to test the portfolio ?
Or could I use the portfolios original bads ( those that were bad when the applied for the product (those bads are not part of the 758 bads in the modelling portfolio)?
 

noetsi

Fortran must die
#3
If you don't know the real population of bads, why do you assume there are not enough in your sample?

The minimum level of anything can be applied three ways. First, what is the minimum sample I need to generate a certain error range at a given confidence level? Second, what power do I have to have. Third, do I have enough cases for my method.

To address any of these points people would need more information than provided.