limitNumber

       $scope.limitNumber = function(event)
        {
            if((event.keyCode >= 48 )&&(event.keyCode<=57))
            {
               return true;
               
            }else
            {
               event.preventDefault();
               return false
               
            }

        }

<input type="text" ng-model="templateSet.set2"  ng-keydown="limitNumber($event)" style="width:50px">