<kbd id="ia2e8"><input id="ia2e8"></input></kbd><u id="ia2e8"></u>
  • <blockquote id="ia2e8"></blockquote>
  • <blockquote id="ia2e8"></blockquote>
  • <samp id="ia2e8"><label id="ia2e8"></label></samp>
  • 駕駛員狀態監測方法、裝置、車載終端及可讀存儲介質與流程

    文檔序號:26100083發布日期:2021-07-30 18:10
    駕駛員狀態監測方法、裝置、車載終端及可讀存儲介質與流程

    本申請涉及自動駕駛技術領域,特別涉及一種駕駛員狀態監測方法、裝置、車載終端及可讀存儲介質。



    背景技術:

    汽車的出現使得人們的生活更加便捷,隨著科技的發展,尤其是智能計算的飛速發展,自動駕駛技術逐漸成為汽車行業研究的熱點,自動駕駛技術的發展對未來經濟、社會的發展具有重大推動作用。而在自動駕駛車輛的研發過程中,為減少行車安全問題的出現,往往需要經過多次實際行駛過程,來對自動駕駛車輛進行測試,進而基于測試結果來對自動駕駛車輛進行改進。

    按照自動駕駛路測細則的規定,在自動駕駛車輛的測試過程中,需要在自動駕駛車輛中配置駕駛員,由駕駛員來監控自動駕駛車輛的狀態,進而在車輛處于不適合自動駕駛的狀態,或系統提示需要人工操作時,及時接管車輛,以保證測試過程的安全。然而在自動駕駛車輛的行駛過程中,由于無需駕駛員手動控制車輛,因而駕駛員很容易出現注意力不集中的問題,導致無法及時接管車輛。因此,亟需一種駕駛員狀態監測方法,來對駕駛員的狀態進行監測。



    技術實現要素:

    本申請實施例提供了一種駕駛員狀態監測方法、裝置、車載終端及可讀存儲介質,能夠在實現對駕駛員狀態的監測的基礎上,有效減少誤報情況的出現,提高駕駛員狀態監測結果的可靠程度。本申請提供的技術方案如下:

    一方面,提供了一種駕駛員狀態監測方法,該方法包括:

    在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息,該手部狀態信息用于指示該駕駛員對方向盤的握持狀態;

    基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,不同手部狀態信息對應于不同的報警閾值時長;

    對該駕駛員的第一駕駛員狀態信息進行監測,該第一駕駛員狀態信息基于對該駕駛員進行圖像識別確定;

    若在該報警閾值時長內監測到該第一駕駛員狀態信息滿足報警條件,則生成報警信息,該報警信息用于提示該駕駛員的狀態不符合安全駕駛條件。

    在一種可能的實現方式中,該基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,包括下述任一項:

    若該手部狀態信息為脫手狀態,則將該報警閾值時長確定為第一目標時長;

    若該手部狀態信息為輕握狀態,則將該報警閾值時長確定為第二目標時長;

    若該手部狀態信息為重握狀態,則將該報警閾值時長確定為第三目標時長;

    其中,該第一目標時長小于該第二目標時長,且該第二目標時長小于該第三目標時長。

    在一種可能的實現方式中,該第一駕駛員狀態信息包括疲勞狀態信息、分神狀態信息和駕駛員行為信息。

    在一種可能的實現方式中,該手部狀態信息通過駕駛員脫手檢測系統獲取得到,該第一駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    該方法還包括:

    獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態;

    若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態之后,該方法還包括:

    若該駕駛員脫手檢測系統和該駕駛員狀態監控系統中任一項處于故障狀態,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態之后,該方法還包括:

    若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則獲取健康狀態信息和第二駕駛員狀態信息,該第二駕駛員狀態信息基于對該駕駛員進行圖像識別確定,該第二駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    若該第二駕駛員狀態信息指示已檢測到駕駛員,且該駕駛員未佩戴防紅外眼鏡,且該健康狀態信息滿足目標條件,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則獲取健康狀態信息和第二駕駛員狀態信息之后,該方法還包括下述任一項:

    若該第二駕駛員狀態信息指示未檢測到駕駛員,則禁止進入自動駕駛狀態;

    若該第二駕駛員狀態信息指示該駕駛員已佩戴防紅外眼鏡,則禁止進入自動駕駛狀態;

    若該健康狀態信息不滿足目標條件,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態之后,該方法還包括下述任一項:

    若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于不可用狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息;

    若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于未激活狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息。

    一方面,提供了一種駕駛員狀態監測裝置,該裝置包括:

    獲取單元,用于在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息,該手部狀態信息用于指示該駕駛員對方向盤的握持狀態;

    確定單元,用于基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,不同手部狀態信息對應于不同的報警閾值時長;

    監測單元,用于對該駕駛員的第一駕駛員狀態信息進行監測,該第一駕駛員狀態信息基于對該駕駛員進行圖像識別確定;

    生成單元,用于若在該報警閾值時長內監測到該第一駕駛員狀態信息滿足報警條件,則生成報警信息,該報警信息用于提示該駕駛員的狀態不符合安全駕駛條件。

    在一種可能的實現方式中,該確定單元用于下述任一項:

    若該手部狀態信息為脫手狀態,則將該報警閾值時長確定為第一目標時長;

    若該手部狀態信息為輕握狀態,則將該報警閾值時長確定為第二目標時長;

    若該手部狀態信息為重握狀態,則將該報警閾值時長確定為第三目標時長;

    其中,該第一目標時長小于該第二目標時長,且該第二目標時長小于該第三目標時長。

    在一種可能的實現方式中,該第一駕駛員狀態信息包括疲勞狀態信息、分神狀態信息和駕駛員行為信息。

    在一種可能的實現方式中,該手部狀態信息通過駕駛員脫手檢測系統獲取得到,該第一駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    該獲取單元,還用于獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態;

    該裝置還包括:

    控制單元,用于若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該控制單元,還用于若該駕駛員脫手檢測系統和該駕駛員狀態監控系統中任一項處于故障狀態,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取單元,還用于若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則獲取健康狀態信息和第二駕駛員狀態信息,該第二駕駛員狀態信息基于對該駕駛員進行圖像識別確定,該第二駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    該控制單元,還用于若該第二駕駛員狀態信息指示已檢測到駕駛員,且該駕駛員未佩戴防紅外眼鏡,且該健康狀態信息滿足目標條件,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該控制單元,還用于下述任一項:

    若該第二駕駛員狀態信息指示未檢測到駕駛員,則禁止進入自動駕駛狀態;

    若該第二駕駛員狀態信息指示該駕駛員已佩戴防紅外眼鏡,則禁止進入自動駕駛狀態;

    若該健康狀態信息不滿足目標條件,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該控制單元,還用于若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于不可用狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;

    該生成單元,還用于若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息;

    該控制單元,還用于若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于未激活狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;

    該生成單元,還用于若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息。

    一方面,提供了一種車載終端,該車載終端包括一個或多個處理器和一個或多個存儲器,該一個或多個存儲器中存儲有至少一條程序代碼,該程序代碼由該一個或多個處理器加載并執行以實現該駕駛員狀態監測方法所執行的操作。

    一方面,提供了一種計算機可讀存儲介質,該計算機可讀存儲介質中存儲有至少一條程序代碼,該程序代碼由處理器加載并執行以實現該駕駛員狀態監測方法所執行的操作。

    一方面,提供了一種計算機程序產品,該計算機程序產品包括計算機代碼,該計算機程序代碼由處理器加載并執行以實現該駕駛員狀態監測方法所執行的操作。

    本申請提供的方案,通過基于駕駛員的手部狀態信息,來確定對應的報警閾值時長,不同的手部狀態信息對應對于不同的報警閾值時長,以便在對第一駕駛員狀態信息進行監測時,在更加符合駕駛員手部狀態的報警閾值時長內,監測到第一駕駛員狀態信息滿足報警條件的情況下,再進行報警,由于引入了手部狀態信息和第一駕駛員狀態信息的融合處理機制,使得報警結果更加準確,從而能夠在實現對駕駛員狀態的監測的基礎上,有效減少誤報情況的出現,提高駕駛員狀態監測結果的可靠程度。

    附圖說明

    為了更清楚地說明本申請實施例中的技術方案,下面將對實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。

    圖1是本申請實施例提供的一種駕駛員狀態監測方法的實施環境示意圖;

    圖2是本申請實施例提供的一種駕駛員狀態監測方法的流程圖;

    圖3是本申請實施例提供的一種車載終端中的系統架構圖;

    圖4是本申請實施例提供的一種駕駛員狀態監測方法的流程圖;

    圖5是本申請實施例提供的一種駕駛員狀態監測裝置的結構示意圖;

    圖6是本申請實施例提供的一種車載終端的結構示意圖。

    具體實施方式

    為使本申請的目的、技術方案和優點更加清楚,下面將結合附圖對本申請實施方式作進一步地詳細描述。

    圖1是本申請實施例提供的一種駕駛員狀態監測方法的實施環境示意圖,參見圖1,該實施環境包括:車載終端101和服務器102。

    車載終端101可以與車輛中的其他硬件設備,如方向盤、攝像頭組件等硬件設備進行通信,從而接收硬件設備所發送的數據(如信息、圖像等),進而對接收到的數據進行處理,以實現對駕駛員狀態的監測。在更多可能的實現方式中,車載終端101通過有線或無線通信方式與服務器102進行通信,本申請實施例對此不加以限定。車載終端101在接收到硬件設備發送的數據后,將接收到的數據發送給服務器102,由服務器102對接收到的數據進行存儲??蛇x地,車載終端102將基于硬件設備發送的數據處理后得到的結果也發送給服務器102,由服務器102將處理后得到的結果與接收到的數據對應存儲。

    車載終端101可以泛指多個車載終端中的一個,本實施例僅以車載終端101來舉例說明。本領域技術人員可以知曉,上述車載終端的數量可以更多或更少。比如上述車載終端可以僅為幾個,或者上述車載終端為幾十個或幾百個,或者更多數量,本申請實施例對車載終端的數量和設備類型不加以限定。

    服務器102可以為一臺服務器、多臺服務器、云計算平臺和虛擬化中心中的至少一種。服務器102接收車載終端101發送的數據,進而對接收到的數據進行存儲。在更多可能的實現方式中,服務器102接收車載終端101發送的、基于硬件設備發送的數據處理后得到的結果,進而將處理后得到的結果與接收到的數據對應存儲??蛇x地,上述服務器的數量可以更多或更少,本申請實施例對此不加以限定。當然,服務器102還可以包括其他功能服務器,以便提供更全面且多樣化的服務。

    圖2是本申請實施例提供的一種駕駛員狀態監測方法的流程圖,參見圖2,該方法包括:

    201、車載終端在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息,該手部狀態信息用于指示該駕駛員對方向盤的握持狀態。

    202、車載終端基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,不同手部狀態信息對應于不同的報警閾值時長。

    203、車載終端對該駕駛員的第一駕駛員狀態信息進行監測,該第一駕駛員狀態信息基于對該駕駛員進行圖像識別確定。

    204、若車載終端在該報警閾值時長內監測到該第一駕駛員狀態信息滿足報警條件,則生成報警信息,該報警信息用于提示該駕駛員的狀態不符合安全駕駛條件。

    本申請實施例提供的方案,通過基于駕駛員的手部狀態信息,來確定對應的報警閾值時長,不同的手部狀態信息對應對于不同的報警閾值時長,以便在對第一駕駛員狀態信息進行監測時,在更加符合駕駛員手部狀態的報警閾值時長內,監測到第一駕駛員狀態信息滿足報警條件的情況下,再進行報警,由于引入了手部狀態信息和第一駕駛員狀態信息的融合處理機制,使得報警結果更加準確,從而能夠在實現對駕駛員狀態的監測的基礎上,有效減少誤報情況的出現,提高駕駛員狀態監測結果的可靠程度。

    在一種可能的實現方式中,該基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,包括下述任一項:

    若該手部狀態信息為脫手狀態,則將該報警閾值時長確定為第一目標時長;

    若該手部狀態信息為輕握狀態,則將該報警閾值時長確定為第二目標時長;

    若該手部狀態信息為重握狀態,則將該報警閾值時長確定為第三目標時長;

    其中,該第一目標時長小于該第二目標時長,且該第二目標時長小于該第三目標時長。

    在一種可能的實現方式中,該第一駕駛員狀態信息包括疲勞狀態信息、分神狀態信息和駕駛員行為信息。

    在一種可能的實現方式中,該手部狀態信息通過駕駛員脫手檢測系統獲取得到,該第一駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    該方法還包括:

    獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態;

    若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態之后,該方法還包括:

    若該駕駛員脫手檢測系統和該駕駛員狀態監控系統中任一項處于故障狀態,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態之后,該方法還包括:

    若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則獲取健康狀態信息和第二駕駛員狀態信息,該第二駕駛員狀態信息基于對該駕駛員進行圖像識別確定,該第二駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    若該第二駕駛員狀態信息指示已檢測到駕駛員,且該駕駛員未佩戴防紅外眼鏡,且該健康狀態信息滿足目標條件,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則獲取健康狀態信息和該第二駕駛員狀態信息之后,該方法還包括下述任一項:

    若該第二駕駛員狀態信息指示未檢測到駕駛員,則禁止進入自動駕駛狀態;

    若該第二駕駛員狀態信息指示該駕駛員已佩戴防紅外眼鏡,則禁止進入自動駕駛狀態;

    若該健康狀態信息不滿足目標條件,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態之后,該方法還包括下述任一項:

    若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于不可用狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息;

    若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于未激活狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息。

    上述圖2所示僅為本申請的一種基本流程,下面對本申請的具體實現過程進行介紹。

    下面先對本申請涉及的車載終端中的系統劃分進行介紹,圖3是本申請實施例提供的一種車載終端中的系統架構圖,參見圖3,該車載終端被劃分為駕駛員狀態監控系統(drivermonitorsystem,dms)、駕駛員脫手檢測(handsoffdetection,hod)系統、融合處理系統和人機界面(humanmachineinterface,hmi)系統。其中,該駕駛員狀態監控系統也稱為視覺監控系統,該駕駛員脫手檢測系統也稱為觸覺監控系統。

    其中,該駕駛員狀態監控系統包括疲勞監測模塊、分神監測模塊、頭部動作監測模塊和紅外阻斷墨鏡監測模塊。該疲勞監測模塊用于基于攝像頭組件采集到的駕駛員的圖像,確定駕駛員的疲勞狀態信息;該分神監測模塊用于基于攝像頭組件采集到的駕駛員的圖像,確定駕駛員的分神狀態信息;該頭部動作監測模塊用于基于攝像頭組件采集到的駕駛員的圖像,確定駕駛員的駕駛員行為信息;該紅外阻斷墨鏡監測模塊用于基于攝像頭組件采集到的駕駛員的圖像,確定是否存在駕駛員,以及該駕駛員是否佩戴防紅外眼鏡。駕駛員狀態監控系統中的各個模塊確定出相應的駕駛員狀態信息(包括第一駕駛員狀態信息和第二駕駛員狀態信息)后,通過控制器局域網絡(controllerareanetwork,can)線,將確定出的駕駛員狀態信息發送給融合處理系統。

    該駕駛員脫手檢測系統包括處理模塊。該處理模塊用于基于安裝在方向盤上的電容傳感器(或壓力傳感器)所采集到的壓力信息,確定駕駛員的手部狀態信息;該處理模塊還用于基于安裝在方向盤上的身體體征傳感器(如體溫傳感器、心率傳感器/脈搏波光電傳感器)所采集到的信息,確定駕駛員的健康狀態信息。駕駛員脫手檢測系統的處理模塊在確定出駕駛員的手部狀態信息以及駕駛員的健康狀態信息后,通過can線,將該手部狀態信息和該健康狀態信息發送給融合處理系統。

    該融合處理系統通過can線與該駕駛員狀態監控系統和該駕駛員脫手檢測系統進行通信,該融合處理系統用于對駕駛員狀態監控系統所輸出的駕駛員狀態信息,以及駕駛員脫手檢測系統所輸出的手部狀態信息和健康狀態信息進行處理,從而實現對駕駛員狀態的監測,并在駕駛員狀態異常時生成報警信息,進而對該報警信息進行發送。

    該hmi系統包括顯示模塊和聲音提示模塊,該hmi系統通過can線與該融合處理系統進行通信,以便接收融合處理系統所發送的報警信息,進而基于接收到的報警信息,在顯示模塊中顯示相應的文字提示,或者,通過聲音提示模塊發出語音提示,或者,在顯示模塊中顯示相應的文字提示的同時,通過聲音提示模塊發出語音提示,以便駕駛員基于顯示模塊所顯示的文字提示,或聲音提示模塊所發出的語音提示,執行相應的操作,從而實現自動駕駛車輛與駕駛員的交互,本申請實施例對具體采用哪種方式不加以限定。

    需要說明的是,上述圖3所示僅為車載終端在軟件層面的系統劃分,參見圖4,圖4是本申請實施例提供的一種車載終端的結構示意圖,該圖展示了車載終端在硬件層面的結構。該車載終端400可以是:智能手機、平板電腦、mp3播放器(movingpictureexpertsgroupaudiolayeriii,動態影像專家壓縮標準音頻層面3)、mp4(movingpictureexpertsgroupaudiolayeriv,動態影像專家壓縮標準音頻層面4)播放器、筆記本電腦或臺式電腦。車載終端400還可能被稱為用戶設備、便攜式車載終端、膝上型車載終端、臺式車載終端等其他名稱。

    通常,車載終端400包括有:一個或多個處理器401和一個或多個存儲器402。

    處理器401可以包括一個或多個處理核心,比如4核心處理器、6核心處理器等。處理器401可以采用dsp(digitalsignalprocessing,數字信號處理)、fpga(field-programmablegatearray,現場可編程門陣列)、pla(programmablelogicarray,可編程邏輯陣列)中的至少一種硬件形式來實現。處理器401也可以包括主處理器和協處理器,主處理器是用于對在喚醒狀態下的數據進行處理的處理器,也稱cpu(centralprocessingunit,中央處理器);協處理器是用于對在待機狀態下的數據進行處理的低功耗處理器。在一些實施例中,處理器401可以在集成有gpu(graphicsprocessingunit,圖像處理器),gpu用于負責顯示屏所需要顯示的內容的渲染和繪制。一些實施例中,處理器401還可以包括ai(artificialintelligence,人工智能)處理器,該ai處理器用于處理有關機器學習的計算操作。

    存儲器402可以包括一個或多個計算機可讀存儲介質,該計算機可讀存儲介質可以是非暫態的。存儲器402還可包括高速隨機存取存儲器,以及非易失性存儲器,比如一個或多個磁盤存儲設備、閃存存儲設備。在一些實施例中,存儲器402中的非暫態的計算機可讀存儲介質用于存儲至少一個程序代碼,該至少一個程序代碼用于被處理器401所執行以實現本申請中方法實施例提供的駕駛員狀態監測方法。

    在一些實施例中,車載終端400還可選包括有:外圍設備接口403和至少一個外圍設備。處理器401、存儲器402和外圍設備接口403之間可以通過總線或信號線相連。各個外圍設備可以通過總線、信號線或電路板與外圍設備接口403相連。具體地,外圍設備包括:射頻電路404、顯示屏405、音頻電路406、和電源407中的至少一種。

    外圍設備接口403可被用于將i/o(input/output,輸入/輸出)相關的至少一個外圍設備連接到處理器401和存儲器402。在一些實施例中,處理器401、存儲器402和外圍設備接口403被集成在同一芯片或電路板上;在一些其他實施例中,處理器401、存儲器402和外圍設備接口403中的任意一個或兩個可以在單獨的芯片或電路板上實現,本實施例對此不加以限定。

    射頻電路404用于接收和發射rf(radiofrequency,射頻)信號,也稱電磁信號。射頻電路404通過電磁信號與通信網絡以及其他通信設備進行通信。射頻電路404將電信號轉換為電磁信號進行發送,或者,將接收到的電磁信號轉換為電信號??蛇x地,射頻電路404包括:天線系統、rf收發器、一個或多個放大器、調諧器、振蕩器、數字信號處理器、編解碼芯片組、用戶身份模塊卡等等。射頻電路404可以通過至少一種無線通信協議來與其它車載終端進行通信。該無線通信協議包括但不限于:城域網、各代移動通信網絡(2g、3g、4g及5g)、無線局域網和/或wifi(wirelessfidelity,無線保真)網絡。在一些實施例中,射頻電路404還可以包括nfc(nearfieldcommunication,近距離無線通信)有關的電路,本申請對此不加以限定。

    顯示屏405用于顯示ui(userinterface,用戶界面)。該ui可以包括圖形、文本、圖標、視頻及其它們的任意組合。當顯示屏405是觸摸顯示屏時,顯示屏405還具有采集在顯示屏405的表面或表面上方的觸摸信號的能力。該觸摸信號可以作為控制信號輸入至處理器401進行處理。此時,顯示屏405還可以用于提供虛擬按鈕和/或虛擬鍵盤,也稱軟按鈕和/或軟鍵盤。在一些實施例中,顯示屏405可以為一個,設置車載終端400的前面板;在另一些實施例中,顯示屏405可以為至少兩個,分別設置在車載終端400的不同表面或呈折疊設計;在再一些實施例中,顯示屏405可以是柔性顯示屏,設置在車載終端400的彎曲表面上或折疊面上。甚至,顯示屏405還可以設置成非矩形的不規則圖形,也即異形屏。顯示屏405可以采用lcd(liquidcrystaldisplay,液晶顯示屏)、oled(organiclight-emittingdiode,有機發光二極管)等材質制備。

    音頻電路406可以包括麥克風和揚聲器。麥克風用于采集用戶及環境的聲波,并將聲波轉換為電信號輸入至處理器401進行處理,或者輸入至射頻電路404以實現語音通信。出于立體聲采集或降噪的目的,麥克風可以為多個,分別設置在車載終端400的不同部位。麥克風還可以是陣列麥克風或全向采集型麥克風。揚聲器則用于將來自處理器401或射頻電路404的電信號轉換為聲波。揚聲器可以是傳統的薄膜揚聲器,也可以是壓電陶瓷揚聲器。當揚聲器是壓電陶瓷揚聲器時,不僅可以將電信號轉換為人類可聽見的聲波,也可以將電信號轉換為人類聽不見的聲波以進行測距等用途。在一些實施例中,音頻電路406還可以包括耳機插孔。

    電源407用于為車載終端400中的各個組件進行供電。電源407可以是交流電、直流電、一次性電池或可充電電池。當電源407包括可充電電池時,該可充電電池可以支持有線充電或無線充電。該可充電電池還可以用于支持快充技術。

    本領域技術人員可以理解,圖4中示出的結構并不構成對車載終端400的限定,可以包括比圖示更多或更少的組件,或者組合某些組件,或者采用不同的組件布置。

    需要說明的是,車載終端400能夠通過有線或無線通信方式,與設置于車輛中的攝像頭組件和方向盤進行通信。

    其中,該攝像頭組件通過第一機械安裝結構,安裝在車輛中的第一目標位置處,用于采集駕駛座對應區域的圖像,從而將采集到的圖像發送給車載終端400,通過車載終端400來基于采集到的圖像進行圖像識別,從而獲取到駕駛員的第一駕駛員狀態信息和第二駕駛員狀態信息。

    該方向盤通過第二機械安裝結構,安裝在車輛中的第二目標位置處,該方向盤上安裝有多個傳感器,如電容傳感器(或壓力傳感器)、體溫傳感器、心率傳感器(或脈搏波光電傳感器),通過電容傳感器(或壓力傳感器)來采集駕駛員施加在方向盤上的壓力信息,通過體溫傳感器采集駕駛員的體溫信息,通過心率傳感器(或脈搏波光電傳感器)采集駕駛員的心率信息,進而通過車載終端400來基于采集到的信息,來確定駕駛員的手部狀態信息以及健康狀態信息。

    下面結合圖3所介紹的車載終端中的系統劃分,來對本申請所提供的駕駛員狀態監測方法進行介紹,圖5是本申請實施例提供的一種駕駛員狀態監測方法的流程圖,參見圖5,該方法包括:

    501、車載終端獲取駕駛員脫手檢測系統的工作狀態,以及駕駛員狀態監控系統的工作狀態。

    在一種可能的實現方式中,車載終端分別向駕駛員脫手檢測系統和駕駛員狀態監控系統發送獲取指令,該獲取指令用于獲取該駕駛員脫手檢測系統和該駕駛員狀態監控系統的工作狀態。駕駛員脫手檢測系統和駕駛員狀態監控系統分別響應于接收到的獲取指令,獲取自身的工作狀態,進而將獲取到的工作狀態發送給車載終端,以使車載終端獲取到駕駛員脫手檢測系統的工作狀態,以及駕駛員狀態監控系統的工作狀態。

    其中,該駕駛員脫手檢測系統的工作狀態獲取過程包括:駕駛員脫手檢測系統響應于接收到的獲取指令,獲取處理模塊的工作狀態,并向與車載終端相連接的方向盤發送該獲取指令,從而獲取方向盤以及安裝在該方向盤上的各個傳感器的工作狀態,進而基于獲取到的處理模塊的工作狀態、方向盤以及安裝在該方向盤上的各個傳感器,確定駕駛員脫手檢測系統的工作狀態,并將確定出的駕駛員脫手檢測系統的工作狀態發送給車載終端,以便車載終端獲取到駕駛員脫手檢測系統的工作狀態。

    對于駕駛員脫手檢測系統,該駕駛員脫手檢測系統的工作狀態包括正常工作狀態和故障狀態。若該駕駛員脫手檢測系統中的處理模塊、以及與車載終端相連接的方向盤以及安裝在該方向盤上的各個傳感器均處于正常工作狀態,則駕駛員脫手檢測系統處于正常工作狀態;若脫手檢測系統中的處理模塊、以及與車載終端相連接的方向盤以及安裝在該方向盤上的各個傳感器中任意一項處于故障狀態,則駕駛員脫手檢測系統處于故障狀態。

    該駕駛員狀態監控系統的工作狀態獲取過程包括:駕駛員狀態監控系統響應于接收到的獲取指令,獲取疲勞監測模塊、分神監測模塊、頭部動作監測模塊和紅外阻斷墨鏡監測模塊的工作狀態,并向與車載終端相連接的攝像頭組件發送獲取指令,從而獲取攝像頭組件的工作狀態,進而基于獲取到的各個模塊的工作狀態,以及攝像頭組件的工作狀態,確定駕駛員狀態監控系統的工作狀態,并將確定出的駕駛員狀態監控系統的工作狀態發送給車載終端,以便車載終端獲取到駕駛員狀態監控系統的工作狀態。

    對于駕駛員狀態監控系統,該駕駛員狀態監控系統的工作狀態包括正常工作狀態、故障狀態、不可用狀態和未激活狀態。若該駕駛員狀態監控系統中的疲勞監測模塊、分神監測模塊、頭部動作監測模塊和紅外阻斷墨鏡監測模塊,以及與車載終端相連接的攝像頭組件均處于正常工作狀態,則駕駛員狀態監控系統處于正常工作狀態;若疲勞監測模塊、分神監測模塊、頭部動作監測模塊、紅外阻斷墨鏡監測模塊以及與車載終端相連接的攝像頭組件中任意一項處于故障狀態,則駕駛員狀態監控系統處于故障狀態;若疲勞監測模塊、分神監測模塊、頭部動作監測模塊和紅外阻斷墨鏡監測模塊中任意一項處于不可用狀態,則駕駛員狀態監控系統處于不可用狀態;若疲勞監測模塊、分神監測模塊、頭部動作監測模塊和紅外阻斷墨鏡監測模塊中任意一項處于未激活狀態,則駕駛員狀態監控系統處于未激活狀態。

    502、若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則車載終端進入自動駕駛狀態。

    在一種可能的實現方式中,在該駕駛員脫手檢測系統和駕駛員狀態監控系統均處于正常工作狀態時,車載終端進入自動駕駛狀態,從而由車載終端控制車輛進行自動駕駛。而若該駕駛員脫手檢測系統和該駕駛員狀態監控系統中任一項處于故障狀態,則車載終端禁止進入自動駕駛狀態,由駕駛員手動控制車輛,此時也無需執行后續步驟503至步驟506。

    可選地,若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常狀態,則車輛終端還可以獲取第二駕駛員狀態信息和駕駛員的健康狀態信息,進而基于獲取到的第二駕駛員狀態信息和健康狀態信息,對能否進入自動駕駛狀態進一步進行判斷。

    在一種可能的實現方式中,車載終端通過駕駛員狀態監控系統獲取該第二駕駛員狀態信息,通過該駕駛員脫手檢測系統獲取該健康狀態信息。

    其中,該第二駕駛員狀態信息包括是否檢測到駕駛員以及駕駛員是否佩戴防紅外眼鏡,可選地,該第二駕駛員狀態信息還包括其他類型的信息,本申請實施例對此不加以限定。

    以該第二駕駛員狀態信息包括是否檢測到駕駛員以及駕駛員是否佩戴防紅外眼鏡為例,該第二駕駛員狀態信息的獲取過程包括:車載終端通過安裝于車輛中的攝像頭組件獲取駕駛座對應區域的圖像,進而基于獲取到的圖像,確定該第二駕駛員狀態信息。

    其中,車載終端在基于駕駛座對應區域的圖像,確定該第二駕駛員狀態信息時,通過車載終端中的駕駛員狀態監控系統所包括的紅外阻斷墨鏡監測模塊,來確定駕駛座上是否有駕駛員,以及駕駛員是否佩戴防紅外眼鏡的情況。

    在一種可能的實現方式中,車載終端在接收到攝像頭組件發送的圖像后,通過駕駛員狀態監控系統所包括的紅外阻斷墨鏡監測模塊,對接收到的圖像進行識別,以確定駕駛座上是否有駕駛員,在識別出駕駛座上有駕駛員時,繼續對接收到的圖像進行識別,以確定駕駛員是否佩戴防紅外眼鏡。

    其中,在進行圖像識別時,通過圖像識別模型實現,如卷積神經網絡(convolutionalneuralnetwork,cnn)模型,可選地,還可以采用其他類型的圖像識別模型,本申請實施例對此不加以限定。為便于說明,將用于識別駕駛座上是否有駕駛員的圖像識別模型記為第一圖像識別模型,將用于識別駕駛員是否佩戴防紅外眼鏡的圖像識別模型記為第二圖像識別模型,則該第一圖像識別模型和該第二圖像識別模型可以為相同類型的圖像識別模型,也可以為不同類型的圖像識別模型,本申請實施例對此也不加以限定。若該第一圖像識別模型和該第二圖像識別模型為相同類型的圖像識別模型,則該第一圖像識別模型和該第二圖像識別模型的模型參數不同。

    可選地,該第一圖像識別模型和該第二圖像識別模型均通過預先訓練得到。其中,在對第一圖像識別模型進行訓練時,采用第一樣本圖像集,該第一樣本圖像集包括多個第一樣本圖像以及各個第一樣本圖像對應的第一標簽,該第一標簽用于指示對應第一樣本圖像中是否有駕駛員。在對第二圖像識別模型進行訓練時,采用第二樣本圖像集,該第二樣本圖像集包括多個第二樣本圖像以及各個第二樣本圖像對應的第二標簽,該第二標簽用于指示對應第二樣本圖像中的駕駛員是否佩戴防紅外眼鏡。

    該健康狀態信息的獲取過程包括:車載終端通過安裝在方向盤上的傳感器,獲取駕駛員的身體體征信息,進而在基于獲取到的身體體征信息,確定駕駛員的健康狀態信息。

    其中,該身體體征信息包括心率信息和體溫信息,可選地,該身體體征信息包括其他類型的信息,本申請實施例對此不加以限定。以該身體體征信息包括心率信息和體溫信息為例,車載終端通過駕駛員脫手檢測系統的處理模塊,接收安裝方向盤上的心率傳感器(或脈搏波光電傳感器)所發送的心率信息,從而獲取到駕駛員的心率信息;通過駕駛員脫手檢測系統的處理模塊,接收安裝在方向盤上的體溫傳感器所發送的體溫信息,從而獲取到駕駛員的體溫信息,進而通過處理模塊,根據接收到的心率信息和體溫信息,確定駕駛員的健康狀態信息。

    在一種可能的實現方式中,若該第二駕駛員狀態信息指示已檢測到駕駛員,且該駕駛員未佩戴防紅外眼鏡,且該健康狀態信息滿足目標條件,則車載終端進入自動駕駛狀態,從而由車載終端控制車輛進行自動駕駛。

    在另一種可能的實現方式中,若該第二駕駛員狀態信息指示未檢測到駕駛員,則車載終端禁止進入自動駕駛狀態;或者,若該第二駕駛員狀態信息指示該駕駛員已佩戴防紅外眼鏡,則車載終端禁止進入自動駕駛狀態;或者,若該健康狀態信息不滿足目標條件,則車載終端禁止進入自動駕駛狀態。

    其中,該健康狀態信息滿足目標條件,也即是駕駛員的心率正常且體溫正常,而健康信息不滿足條件包括駕駛員的心率不正常,或者,駕駛員的體溫不正常,或者,駕駛員的心率和體溫均不正常這三種情況。

    需要說明的是,心率正常也即是心率為60~100次/分,體溫正常也即是體溫為36~38攝氏度(℃),可選地,心率正常情況下心率的取值范圍,以及體溫正常情況下體溫的取值范圍還可以為其他取值范圍,本申請實施例對此不加以限定。

    503、車載終端在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息,該手部狀態信息用于指示該駕駛員對方向盤的握持狀態。

    在一種可能的實現方式中,在通過步驟502確定車輛能夠進入自動駕駛狀態時,車載終端通過駕駛員脫手檢測系統獲取該手部狀態信息。

    其中,該手部狀態信息的獲取過程包括:車載終端通過駕駛員脫手檢測系統的處理模塊,接收安裝在方向盤上的電容傳感器(或壓力傳感器)所發送的壓力信息,從而獲取到駕駛員施加在方向盤上的壓力信息,進而由處理模塊根據接收到的壓力信息,確定駕駛員的手部狀態信息。

    在一種可能的實現方式中,若該壓力信息為0,則車載終端將該手部狀態信息確定為脫手狀態;若該壓力信息大于0且小于預設壓力閾值,則車載終端將該手部狀態信息確定為輕握狀態;若該壓力信息大于或等于預設壓力閾值,則車載終端將該手部狀態信息確定為重握狀態。其中,該預設壓力閾值為任意正數值,本申請實施例對此不加以限定。

    504、車載終端基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,不同手部狀態信息對應于不同的報警閾值時長。

    在一種可能的實現方式中,若該手部狀態信息為脫手狀態,則車載終端將該報警閾值時長確定為第一目標時長;若該手部狀態信息為輕握狀態,則車載終端將該報警閾值時長確定為第二目標時長;若該手部狀態信息為重握狀態,則車載終端將該報警閾值時長確定為第三目標時長。

    其中,該第一目標時長小于該第二目標時長,且該第二目標時長小于該第三目標時長。該輕握狀態包括雙手輕握和單手輕握兩種情況,該重握狀態包括雙手重握和單手重握兩種情況。

    例如,若該手部狀態信息為脫手狀態,則車載終端將該報警閾值時長確定為10秒(s),相應地,第一目標時長也即是10s;若該手部狀態信息為輕握狀態,則車載終端將該報警閾值時長確定為20s,相應地,該第二目標時長也即是20s;若該手部狀態信息為重握狀態,則車載終端將該報警閾值時長確定為30s,相應地,該第三目標時長也即是30s??蛇x地,該第一目標時長、第二目標時長、第三目標時長還可以為其他取值,本申請實施例對此不加以限定。

    其中,該報警閾值時長用于指示在持續多久時間內監測到異常情況的情況下進行報警。例如,該報警閾值時長為10s,則表示若在連續10s內均監測到異常情況,則進行報警。

    通過根據駕駛員不同的手部狀態(如重握,輕握,脫手等),對第一駕駛員狀態信息的報警閾值時長設置不同的取值,不同手部狀態對應的報警閾值時長,都更加符合當前的手部狀態,從而能夠在駕駛員狀態監測過程中增加過濾算法,進而有效減少誤報,在保證安全的前提下提高駕駛員監測方法的可靠性。此外,還能夠根據實際需求對不同手部狀態對應的報警閾值時長進行調整,從而提高駕駛員監測方法的靈活性。

    505、車載終端對該駕駛員的第一駕駛員狀態信息進行監測,該第一駕駛員狀態信息基于對該駕駛員進行圖像識別確定。

    在一種可能的實現方式中,車載終端通過駕駛員狀態監控系統,獲取該第一駕駛員狀態信息,從而實現對該駕駛員的第一駕駛員狀態信息的監測。

    其中,該第一駕駛員狀態信息包括疲勞狀態信息、分神狀態信息和駕駛員行為信息,可選地,該第一駕駛員狀態信息還包括其他類型的信息,本申請實施例對此不加以限定。

    以該第一駕駛員狀態信息包括疲勞狀態信息、分神狀態信息和駕駛員行為信息為例,該第一駕駛員狀態信息的獲取過程包括:車載終端通過安裝于車輛中的攝像頭組件獲取駕駛座對應區域的圖像,進而基于獲取到的圖像,確定該第一駕駛員狀態信息。

    其中,車載終端在基于駕駛座對應區域的圖像,確定該第一駕駛員狀態信息時,通過駕駛員狀態監控系統的疲勞監測模塊,確定駕駛員的疲勞狀態信息,通過駕駛員狀態監控系統的分神監測模塊,確定駕駛員的分神狀態信息,通過駕駛員狀態監控系統的頭部動作監測模塊,確定駕駛員的駕駛員行為信息(如是否正在接打電話、是否正在抽煙等)。

    在通過疲勞監測模塊,確定駕駛員的疲勞狀態信息時,通過該疲勞監測子模塊,對接收到的圖像進行識別,以確定駕駛員的眼瞼閉合程度,并基于報警閾值時長內的多個圖像,確定駕駛員的眼瞼閉合頻率,進而基于眼瞼閉合程度和眼瞼閉合頻率,確定駕駛員的疲勞狀態信息(包括正常狀態、疲勞狀態)。

    例如,基于眼瞼閉合程度和眼瞼閉合頻率,確定駕駛員的疲勞狀態信息時,若該眼瞼閉合程度小于第一目標閾值,或眼瞼閉合頻率小于第二目標閾值,則確定駕駛員處于正常狀態;若該眼瞼閉合程度大于或等于第一目標閾值,且眼瞼閉合頻率大于或等于第二目標閾值,則確定駕駛員處于疲勞狀態。該第一目標閾值和第二目標閾值為任意取值,本申請實施例對此不加以限定。

    在通過分神監測模塊,確定駕駛員的分神狀態信息時,通過該分神監測模塊,對接收到的圖像進行識別,以確定駕駛員的視線方向,進而基于識別出的視線方向和車輛行駛方向,確定駕駛員的分神狀態信息(包括正常狀態、分神狀態)。

    其中,基于識別出的視線方向和車輛行駛方向,確定駕駛員的分神狀態信息時,若駕駛員的視線方向與車輛行駛方向的夾角小于第三目標閾值,則確定駕駛員處于正常狀態;若駕駛員的視線方向與車輛行駛方向的夾角大于或等于第三目標閾值,則確定駕駛員處于分神狀態。該第三目標閾值為任意取值,本申請實施例對此不加以限定。

    在通過頭部動作監測模塊,確定駕駛員的駕駛員行為信息時,通過該頭部動作監測模塊,對接收到的圖像進行識別,以確定駕駛員當前是否在接打電話或抽煙,進而基于識別出的結果,確定駕駛員的駕駛行為信息。

    其中,在進行圖像識別時,通過圖像識別模型實現,如cnn模型,可選地,還可以采用其他類型的圖像識別模型,本申請實施例對此不加以限定。為便于說明,將用于確定疲勞狀態信息的圖像識別模型記為第三圖像識別模型,將用于確定分神狀態信息的圖像識別模型記為第四圖像識別模型,將用于確定駕駛行為信息的圖像識別模型記為第五圖像識別模型,則該第三圖像識別模型、該第四圖像識別模型和該第五圖像識別模型可以為相同類型的圖像識別模型,也可以為不同類型的圖像識別模型,本申請實施例對此也不加以限定。若該第三圖像識別模型、該第四圖像識別模型和該第五圖像識別模型為相同類型的圖像識別模型,則該第三圖像識別模型、該第四圖像識別模型和該第五圖像識別模型的模型參數不同。

    可選地,該第三圖像識別模型、該第四圖像識別模型和該第五圖像識別模型均通過預先訓練得到。其中,在對第三圖像識別模型進行訓練時,采用第三樣本圖像集,該第三樣本圖像集包括多個第三樣本圖像以及各個第三樣本圖像對應的第三標簽,該第三標簽用于指示對應第三樣本圖像中駕駛員的疲勞狀態信息。在對第四圖像識別模型進行訓練時,采用第四樣本圖像集,該第四樣本圖像集包括多個第四樣本圖像以及各個第四樣本圖像對應的第四標簽,該第四標簽用于指示對應第四樣本圖像中駕駛員的分神狀態信息。在對第五圖像識別模型進行訓練時,采用第五樣本圖像集,該第五樣本圖像集包括多個第五樣本圖像以及各個第五樣本圖像對應的第五標簽,該第五標簽用于指示對應第五樣本圖像中駕駛員的駕駛行為信息。

    需要說明的是,上述確定疲勞狀態信息、分神狀態信息和駕駛行為信息的過程,僅為示例性的實現方式,在更多可能的實現方式中,還可以采用其他方式,來進行疲勞狀態信息、分神狀態信息和駕駛行為信息的確定,本申請實施例對此不加以限定。

    可選地,車載終端在獲取到駕駛座對應區域的圖像后,對獲取到的圖像進行存儲,以便發生交通事故時,作為交通事故處理部門處理交通事故的判斷依據。在更多可能的實現方式中,車載終端將獲取到的圖像實時上傳至位于云端的服務器,通過服務器來對圖像進行存儲,以減少車載終端的存儲壓力,提高車載終端的處理速度。

    例如,車載終端的駕駛員狀態監控系統在獲取到駕駛座對應區域的圖像后,將駕駛座對應區域的圖像發送給融合處理系統,通過融合處理系統對接收到的圖像進行存儲,以便發生交通事故時,作為交通事故處理部門處理交通事故的判斷依據。在更多可能的實現方式中,融合處理系統將接收到的圖像實時上傳至位于云端的服務器,通過服務器來對圖像進行存儲,以減少車載終端的存儲壓力,提高車載終端的處理速度。

    506、若車載終端在該報警閾值時長內監測到該第一駕駛員狀態信息滿足報警條件,則生成報警信息,該報警信息用于提示該駕駛員的狀態不符合安全駕駛條件。

    其中,該第一駕駛員狀態信息滿足報警條件,包括該第一駕駛員狀態信息所包括的疲勞狀態信息指示駕駛員處于疲勞狀態,還包括該第一駕駛員狀態信息所包括的分神狀態信息指示駕駛員處于分神狀態,還包括該第一駕駛員狀態信息所包括的駕駛行為信息指示駕駛員正在接打電話或抽煙,或者,上述三種報警條件還可以任意結合,本申請實施例對此不加以限定。則生成報警信息的情況如下:

    在一種可能的實現方式中,若車載終端的融合處理模塊在該報警閾值時長監測到駕駛員處于疲勞狀態,則生成該報警信息。

    在另一種可能的實現方式中,若車載終端的融合處理模塊在該報警閾值時長監測到駕駛員處于分神狀態,則生成該報警信息。

    在另一種可能的實現方式中,若車載終端的融合處理模塊在該報警閾值時長監測到駕駛員正在接打電話或抽煙,則生成該報警信息。

    需要說明的是,上述三種情況可以任意結合,本申請實施例對此不加以限定。

    其中,該報警信息為文字提示信息、語音提示信息等。車載終端的融合處理系統在生成該報警信息后,將該報警信息發送給hmi系統,通過hmi系統來對文字提示信息進行顯示,或者,對語音提示信息進行播放,本申請實施例對具體采用哪種方式不加以限定。

    可選地,該報警信息還可以為震動提示信息。則車載終端的融合處理系統還可以連接有便攜式設備(如智能手機、智能手表等),則車載終端的融合處理系統在生成該報警信息后,將該報警信息發送給該便攜式設備,通過該便攜式設備來進行震動,從而發出震動提示信息?;蛘?,車載終端的hmi系統還可以連接有便攜式設備,則車載終端的hmi系統在接收到該報警信息后,將該報警信息發送給便攜式設備,通過該便攜式設備來進行震動,從而發出震動提示信息。

    需要說明的是,上述三種提示信息可以任意組合,從而以更加全面的方式來對駕駛員進行提醒。

    上述步驟502至步驟506是以駕駛員脫手檢測系統和駕駛員狀態監控系統均處于正常工作狀態,或駕駛員脫手檢測系統和駕駛員狀態監控系統中至少一個處于故障狀態為例來進行說明的,在更多可能的實現方式中,若該駕駛員脫手檢測系統處于正常工作狀態,而該駕駛員狀態監控系統處于不可用狀態或未激活狀態,則車載終端進入自動駕駛狀態,并在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息,進而僅根據獲取到的手部狀態信息來對駕駛員狀態進行監測,若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息。

    其中,獲取手部狀態信息的過程參見上述步驟403,此處不再贅述。該第四目標時長為小于第一目標時長任意時長,例如,以該第一目標時長為10s為例,該第四目標時長為5s,可選地,該第四目標時長為小于10s的其他時長,本申請實施例對此不加以限定。

    可選地,車載終端在獲取到手部狀態信息、第一駕駛員狀態信息、第二駕駛員狀態信息、健康狀態信息等信息后,對獲取到的信息進行存儲,以便發生交通事故時,作為交通事故處理部門處理交通事故的判斷依據。在更多可能的實現方式中,車載終端將獲取到的信息實時上傳至位于云端的服務器,通過服務器來對信息進行存儲,以減少車載終端的存儲壓力,提高車載終端的處理速度。需要說明的是,上述過程可以由車載終端中的融合處理系統完成,可選地,還可以由車載終端中的其他部分完成,本申請實施例對此不加以限定。

    在另一種可能的實現方式中,車載終端僅在在該報警閾值時長內監測到該第一駕駛員狀態信息滿足報警條件時,對接收到圖像和獲取到的信息進行存儲,也能夠減少車載終端的存儲壓力,從而提高車載終端的處理速度。

    本申請實施例提供的方案,通過基于駕駛員的手部狀態信息,來確定對應的報警閾值時長,不同的手部狀態信息對應對于不同的報警閾值時長,以便在對第一駕駛員狀態信息進行監測時,在更加符合駕駛員手部狀態的報警閾值時長內,監測到第一駕駛員狀態信息滿足報警條件的情況下,再進行報警,由于引入了手部狀態信息和第一駕駛員狀態信息的融合處理機制,使得報警結果更加準確,從而能夠在實現對駕駛員狀態的監測的基礎上,有效減少誤報情況的出現,提高駕駛員狀態監測結果的可靠程度。正是由于引入了手部狀態信息和第一駕駛員狀態信息的融合處理機制,所以能夠提供一種能夠基于視覺及觸覺來綜合判斷駕駛員狀態的方案,從而能夠在識別駕駛員的狀態的前提下,有效減少誤報情況的出現,減少因單一監測方法導致報警結果不可靠的情況的出現,提高駕駛員狀態監測結果的可靠程度,從而提高用戶體驗。

    上述所有可選技術方案,可以采用任意結合形成本申請的可選實施例,在此不再一一贅述。

    圖6是本申請實施例提供的一種駕駛員狀態監測裝置的結構示意圖,參見圖6,該裝置包括:

    獲取單元601,用于在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息,該手部狀態信息用于指示該駕駛員對方向盤的握持狀態;

    確定單元602,用于基于該手部狀態信息,確定該手部狀態信息對應的報警閾值時長,不同手部狀態信息對應于不同的報警閾值時長;

    監測單元603,用于對該駕駛員的第一駕駛員狀態信息進行監測,該第一駕駛員狀態信息基于對該駕駛員進行圖像識別確定;

    生成單元604,用于若在該報警閾值時長內監測到該第一駕駛員狀態信息滿足報警條件,則生成報警信息,該報警信息用于提示該駕駛員的狀態不符合安全駕駛條件。

    本申請實施例提供的裝置,通過基于駕駛員的手部狀態信息,來確定對應的報警閾值時長,不同的手部狀態信息對應對于不同的報警閾值時長,以便在對第一駕駛員狀態信息進行監測時,在更加符合駕駛員手部狀態的報警閾值時長內,監測到第一駕駛員狀態信息滿足報警條件的情況下,再進行報警,由于引入了手部狀態信息和第一駕駛員狀態信息的融合處理機制,使得報警結果更加準確,從而能夠在實現對駕駛員狀態的監測的基礎上,有效減少誤報情況的出現,提高駕駛員狀態監測結果的可靠程度。

    在一種可能的實現方式中,該確定單元602用于下述任一項:

    若該手部狀態信息為脫手狀態,則將該報警閾值時長確定為第一目標時長;

    若該手部狀態信息為輕握狀態,則將該報警閾值時長確定為第二目標時長;

    若該手部狀態信息為重握狀態,則將該報警閾值時長確定為第三目標時長;

    其中,該第一目標時長小于該第二目標時長,且該第二目標時長小于該第三目標時長。

    在一種可能的實現方式中,該第一駕駛員狀態信息包括疲勞狀態信息、分神狀態信息和駕駛員行為信息。

    在一種可能的實現方式中,該手部狀態信息通過駕駛員脫手檢測系統獲取得到,該第一駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    該獲取單元601,還用于獲取該駕駛員脫手檢測系統的工作狀態,以及該駕駛員狀態監控系統的工作狀態;

    該裝置還包括:

    控制單元,用于若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該控制單元,還用于若該駕駛員脫手檢測系統和該駕駛員狀態監控系統中任一項處于故障狀態,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該獲取單元601,還用于若該駕駛員脫手檢測系統和該駕駛員狀態監控系統均處于正常工作狀態,則獲取健康狀態信息和第二駕駛員狀態信息,該第二駕駛員狀態信息基于對該駕駛員進行圖像識別確定,該第二駕駛員狀態信息通過駕駛員狀態監控系統獲取得到;

    該控制單元,還用于若該第二駕駛員狀態信息指示已檢測到駕駛員,且該駕駛員未佩戴防紅外眼鏡,且該健康狀態信息滿足目標條件,則允許進入自動駕駛狀態。

    在一種可能的實現方式中,該控制單元,還用于下述任一項:

    若該第二駕駛員狀態信息指示未檢測到駕駛員,則禁止進入自動駕駛狀態;

    若該第二駕駛員狀態信息指示該駕駛員已佩戴防紅外眼鏡,則禁止進入自動駕駛狀態;

    若該健康狀態信息不滿足目標條件,則禁止進入自動駕駛狀態。

    在一種可能的實現方式中,該控制單元,還用于若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于不可用狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;

    該生成單元604,還用于若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息;

    該控制單元,還用于若該駕駛員脫手檢測系統處于正常工作狀態,且該駕駛員狀態監控系統處于未激活狀態,則允許進入自動駕駛狀態,執行在車輛處于自動駕駛狀態下,獲取駕駛員的手部狀態信息的步驟;

    該生成單元604,還用于若在第四目標時長內監測到該手部狀態信息為脫手狀態,則生成該報警信息。

    需要說明的是:上述實施例提供的駕駛員狀態監測裝置在監測駕駛員狀態時,僅以上述各功能單元的劃分進行舉例說明,實際應用中,可以根據需要而將上述功能分配由不同的功能單元完成,即將車載終端的內部結構劃分成不同的功能單元,以完成以上描述的全部或者部分功能。另外,上述實施例提供的駕駛員狀態監測裝置與駕駛員狀態監測方法實施例屬于同一構思,其具體實現過程詳見方法實施例,這里不再贅述。

    在示例性實施例中,還提供了一種計算機可讀存儲介質,例如包括程序代碼的存儲器,上述程序代碼可由處理器執行以完成上述實施例中的駕駛員狀態監測方法。例如,該計算機可讀存儲介質可以是只讀存儲器(read-onlymemory,rom)、隨機存取存儲器(randomaccessmemory,ram)、只讀光盤(compactdiscread-onlymemory,cd-rom)、磁帶、軟盤和光數據存儲設備等。

    在示例性實施例中,還提供了一種計算機程序產品,該計算機程序產品包括計算機程序代碼,該計算機程序代碼由車載終端的處理器加載并執行,以完成上述實施例中提供的駕駛員狀態監測方法的方法步驟。

    本領域普通技術人員可以理解實現上述實施例的全部或部分步驟可以通過硬件來完成,也可以通過程序來程序代碼相關的硬件完成,該程序可以存儲于一種計算機可讀存儲介質中,上述提到的存儲介質可以是只讀存儲器,磁盤或光盤等。

    上述僅為本申請的可選實施例,并不用以限制本申請,凡在本申請的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本申請的保護范圍之內。

    再多了解一些
    當前第1頁1 2 
    網友詢問留言 已有0條留言
    • 還沒有人留言評論。精彩留言會獲得點贊!
    1
    中文字幕一区在线观看视频_国产偷v国产偷v_西西人体44rt net毛最多_伊人久久大香线蕉综合网