android端做一款答題輔助軟件
目前無論是各大平臺還是遊戲內部都會有答題娛樂，但是手動打題目搜索的話，還沒打完字答題時間就結束了，速度慢。所以做一個簡單的學術研究。
思路：
當答題開始的時候先獲取題目、答案，然後去百度、google瀏覽器搜索答案，作爲參考。
1：首先獲取題目和答案，倆種方法（我們暫且用第2種）
（1）：抓包直接獲取，這種方法效率高，但是開發時間長，因爲時間原因，就先不用這種方法，後續有時間可能會抓一下。
（2）：利用圖像識別，提取文字，根據題目顯示位置座標截取圖片，提高效率。（但整體還是沒有第一種準確，快）
2：根據提取的題目自動打開瀏覽器搜索，搜素出結果提供參考。
後續還可以利用paython做的更加人性化，準確清晰的顯示結果，因爲我們只做Android端，先不講
具體流程
1、首先題目顯示後，手機快捷鍵截屏
2、我們對手機系統截屏進行監聽
3、如果有截圖，那麼就提取截屏的圖片
4、然後對截圖進行指定座標裁剪只獲取題目部分（因爲識別全部圖片肯定費時間長，我們需要精確識別）
5、裁剪後進行圖片文字識別，我們用百度的識別，很準確，一天免費5000次，夠用了
6、識別出題目後，我們拉起手機瀏覽器自動搜索（android有拉起瀏覽器並搜索鏈接的方法）
7、這樣我們就可以查看搜索內容快速參考答題了
代碼片段
1、手機系統截屏監聽
import android.content.Context; import android.database.ContentObserver; import android.database.Cursor; import android.graphics.BitmapFactory; import android.graphics.Point; import android.net.Uri; import android.os.Build; import android.os.Handler; import android.os.Looper; import android.provider.MediaStore; import android.text.TextUtils; import android.util.Log; import android.view.Display; import android.view.WindowManager; import java.lang.reflect.Method; import java.util.ArrayList; import java.util.List; /** * 截屏監聽 * * //需要申請的權限 * Requires Permission: android.permission.READ_EXTERNAL_STORAGE * * * 調用此方法監聽，需要先開啓 * ScreenListenManager manager = ScreenListenManager.newInstance(context); * * manager.setListener( * new OnScreenShotListener() { * public void onShot(String imagePath) { * //截屏成功後調用 * } * } * ); * * manager.startListen(); //開啓截屏監聽 * * manager.stopListen(); //關閉截屏監聽 * */ public class ScreenListenManager { private static final String TAG = "ScreenListenManager"; /** 讀取媒體數據庫時需要讀取的列 */ private static final String[] MEDIA_PROJECTIONS = { MediaStore.Images.ImageColumns.DATA, MediaStore.Images.ImageColumns.DATE_TAKEN, }; /** 讀取媒體數據庫時需要讀取的列, 其中 WIDTH 和 HEIGHT 字段在 API 16 以後纔有 */ private static final String[] MEDIA_PROJECTIONS_API_16 = { MediaStore.Images.ImageColumns.DATA, MediaStore.Images.ImageColumns.DATE_TAKEN, MediaStore.Images.ImageColumns.WIDTH, MediaStore.Images.ImageColumns.HEIGHT, }; /** 截屏依據中的路徑判斷關鍵字 */ private static final String[] KEYWORDS = { "screenshot", "screen_shot", "screen-shot", "screen shot", "screencapture", "screen_capture", "screen-capture", "screen capture", "screencap", "screen_cap", "screen-cap", "screen cap" }; private static Point sScreenRealSize; /** 已回調過的路徑 */ private final List<String> sHasCallbackPaths = new ArrayList<String>(); private Context mContext; private OnScreenShotListener mListener; private long mStartListenTime; /** 內部存儲器內容觀察者 */ private MediaContentObserver mInternalObserver; /** 外部存儲器內容觀察者 */ private MediaContentObserver mExternalObserver; /** 運行在 UI 線程的 Handler, 用於運行監聽器回調 */ private final Handler mUiHandler = new Handler(Looper.getMainLooper()); private ScreenListenManager(Context context) { if (context == null) { throw new IllegalArgumentException("The context must not be null."); } mContext = context; // 獲取屏幕真實的分辨率 if (sScreenRealSize == null) { sScreenRealSize = getRealScreenSize(); if (sScreenRealSize != null) { Log.d(TAG, "Screen Real Size: " + sScreenRealSize.x + " * " + sScreenRealSize.y); } else { Log.w(TAG, "Get screen real size failed."); } } } public static ScreenListenManager newInstance(Context context) { assertInMainThread(); return new ScreenListenManager(context); } /** * 啓動監聽 */ public void startListen() { assertInMainThread(); sHasCallbackPaths.clear(); // 記錄開始監聽的時間戳 mStartListenTime = System.currentTimeMillis(); // 創建內容觀察者 mInternalObserver = new MediaContentObserver(MediaStore.Images.Media.INTERNAL_CONTENT_URI, mUiHandler); mExternalObserver = new MediaContentObserver(MediaStore.Images.Media.EXTERNAL_CONTENT_URI, mUiHandler); // 註冊內容觀察者 mContext.getContentResolver().registerContentObserver( MediaStore.Images.Media.INTERNAL_CONTENT_URI, false, mInternalObserver ); mContext.getContentResolver().registerContentObserver( MediaStore.Images.Media.EXTERNAL_CONTENT_URI, false, mExternalObserver ); } /** * 停止監聽 */ public void stopListen() { assertInMainThread(); // 註銷內容觀察者 if (mInternalObserver != null) { try { mContext.getContentResolver().unregisterContentObserver(mInternalObserver); } catch (Exception e) { e.printStackTrace(); } mInternalObserver = null; } if (mExternalObserver != null) { try { mContext.getContentResolver().unregisterContentObserver(mExternalObserver); } catch (Exception e) { e.printStackTrace(); } mExternalObserver = null; } // 清空數據 mStartListenTime = 0; sHasCallbackPaths.clear(); } /** * 處理媒體數據庫的內容改變 */ private void handleMediaContentChange(Uri contentUri) { Cursor cursor = null; try { // 數據改變時查詢數據庫中最後加入的一條數據 cursor = mContext.getContentResolver().query( contentUri, Build.VERSION.SDK_INT < 16 ? MEDIA_PROJECTIONS : MEDIA_PROJECTIONS_API_16, null, null, MediaStore.Images.ImageColumns.DATE_ADDED + " desc limit 1" ); if (cursor == null) { Log.e(TAG, "Deviant logic."); return; } if (!cursor.moveToFirst()) { Log.d(TAG, "Cursor no data."); return; } // 獲取各列的索引 int dataIndex = cursor.getColumnIndex(MediaStore.Images.ImageColumns.DATA); int dateTakenIndex = cursor.getColumnIndex(MediaStore.Images.ImageColumns.DATE_TAKEN); int widthIndex = -1; int heightIndex = -1; if (Build.VERSION.SDK_INT >= 16) { widthIndex = cursor.getColumnIndex(MediaStore.Images.ImageColumns.WIDTH); heightIndex = cursor.getColumnIndex(MediaStore.Images.ImageColumns.HEIGHT); } // 獲取行數據 String data = cursor.getString(dataIndex); long dateTaken = cursor.getLong(dateTakenIndex); int width = 0; int height = 0; if (widthIndex >= 0 && heightIndex >= 0) { width = cursor.getInt(widthIndex); height = cursor.getInt(heightIndex); } else { // API 16 之前, 寬高要手動獲取 Point size = getImageSize(data); width = size.x; height = size.y; } // 處理獲取到的第一行數據 handleMediaRowData(data, dateTaken, width, height); } catch (Exception e) { e.printStackTrace(); } finally { if (cursor != null && !cursor.isClosed()) { cursor.close(); } } } private Point getImageSize(String imagePath) { BitmapFactory.Options options = new BitmapFactory.Options(); options.inJustDecodeBounds = true; BitmapFactory.decodeFile(imagePath, options); return new Point(options.outWidth, options.outHeight); } /** * 處理獲取到的一行數據 */ private void handleMediaRowData(String data, long dateTaken, int width, int height) { if (checkScreenShot(data, dateTaken, width, height)) { Log.d(TAG, "ScreenShot: path = " + data + "; size = " + width + " * " + height + "; date = " + dateTaken); if (mListener != null && !checkCallback(data)) { mListener.onShot(data); } } else { // 如果在觀察區間媒體數據庫有數據改變，又不符合截屏規則，則輸出到 log 待分析 Log.w(TAG, "Media content changed, but not screenshot: path = " + data + "; size = " + width + " * " + height + "; date = " + dateTaken); } } /** * 判斷指定的數據行是否符合截屏條件 */ private boolean checkScreenShot(String data, long dateTaken, int width, int height) { /* * 判斷依據一: 時間判斷 */ // 如果加入數據庫的時間在開始監聽之前, 或者與當前時間相差大於10秒, 則認爲當前沒有截屏 if (dateTaken < mStartListenTime || (System.currentTimeMillis() - dateTaken) > 10 * 1000) { return false; } /* * 判斷依據二: 尺寸判斷 */ if (sScreenRealSize != null) { // 如果圖片尺寸超出屏幕, 則認爲當前沒有截屏 if ( !( (width <= sScreenRealSize.x && height <= sScreenRealSize.y) || (height <= sScreenRealSize.x && width <= sScreenRealSize.y) )) { return false; } } /* * 判斷依據三: 路徑判斷 */ if (TextUtils.isEmpty(data)) { return false; } data = data.toLowerCase(); // 判斷圖片路徑是否含有指定的關鍵字之一, 如果有, 則認爲當前截屏了 for (String keyWork : KEYWORDS) { if (data.contains(keyWork)) { return true; } } return false; } /** * 判斷是否已回調過, 某些手機ROM截屏一次會發出多次內容改變的通知; <br/> * 刪除一個圖片也會發通知, 同時防止刪除圖片時誤將上一張符合截屏規則的圖片當做是當前截屏. */ private boolean checkCallback(String imagePath) { if (sHasCallbackPaths.contains(imagePath)) { return true; } // 大概緩存15~20條記錄便可 if (sHasCallbackPaths.size() >= 20) { for (int i = 0; i < 5; i++) { sHasCallbackPaths.remove(0); } } sHasCallbackPaths.add(imagePath); return false; } /** * 獲取屏幕分辨率 */ private Point getRealScreenSize() { Point screenSize = null; try { screenSize = new Point(); WindowManager windowManager = (WindowManager) mContext.getSystemService(Context.WINDOW_SERVICE); Display defaultDisplay = windowManager.getDefaultDisplay(); if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.JELLY_BEAN_MR1) { defaultDisplay.getRealSize(screenSize); } else { try { Method mGetRawW = Display.class.getMethod("getRawWidth"); Method mGetRawH = Display.class.getMethod("getRawHeight"); screenSize.set( (Integer) mGetRawW.invoke(defaultDisplay), (Integer) mGetRawH.invoke(defaultDisplay) ); } catch (Exception e) { screenSize.set(defaultDisplay.getWidth(), defaultDisplay.getHeight()); e.printStackTrace(); } } } catch (Exception e) { e.printStackTrace(); } return screenSize; } /** * 設置截屏監聽器 */ public void setListener(OnScreenShotListener listener) { mListener = listener; } public static interface OnScreenShotListener { public void onShot(String imagePath); } private static void assertInMainThread() { if (Looper.myLooper() != Looper.getMainLooper()) { StackTraceElement[] elements = Thread.currentThread().getStackTrace(); String methodMsg = null; if (elements != null && elements.length >= 4) { methodMsg = elements[3].toString(); } throw new IllegalStateException("Call the method must be in main thread: " + methodMsg); } } /** * 媒體內容觀察者(觀察媒體數據庫的改變) */ private class MediaContentObserver extends ContentObserver { private Uri mContentUri; public MediaContentObserver(Uri contentUri, Handler handler) { super(handler); mContentUri = contentUri; } @Override public void onChange(boolean selfChange) { super.onChange(selfChange); handleMediaContentChange(mContentUri); } } }2、對監聽到的圖片進行座標裁剪
//先根據圖片位置url轉換成bitmap Bitmap bit = BitmapFactory.decodeFile(imgUrl); /** * 然後再根據題目顯示位置座標裁剪圖片 * 第1個參數：圖片裁剪x座標起始位置 * 第2個參數：圖片裁剪y座標起始位置 * 第3個參數：圖片裁剪寬度 * 第4個參數：圖片裁剪高度 */ Bitmap bitmap = Bitmap.createBitmap(bit, 486, 540, 568, 735); //把裁剪後的圖片的bitmap轉換成byte（因爲百度圖片識別接口需要） ByteArrayOutputStream baos = new ByteArrayOutputStream(); bitmap.compress(Bitmap.CompressFormat.PNG, 100, baos); byte[] imgData = baos.toByteArray();3、調用百度圖文識別接口就可以了，傳入剛纔裁剪後的
https://cloud.baidu.com/doc/OCR/index.html
4、識別出的文字後，拉起手機瀏覽器並且打開搜索url
//跳轉到瀏覽器搜索（小米手機自帶瀏覽器）str就是圖像識別的內容 String url = "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd="+str; Uri uri = Uri.parse(url); Intent intent = new Intent(Intent.ACTION_VIEW, uri); intent.setClassName("com.android.browser", "com.android.browser.BrowserActivity");//打開miui瀏覽器 intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK); startActivity(intent);
效果圖
