Chromium为视频签全屏播放的过程分析.docx

《Chromium为视频签全屏播放的过程分析.docx》由会员分享，可在线阅读，更多相关《Chromium为视频签全屏播放的过程分析.docx（49页珍藏版）》请在三一办公上搜索。

1、Chromium为视频签全屏播放的过程分析Chromium为视频标签全屏播放的过程分析 在Chromium中，标签有全屏和非全屏两种播放模式。在非全屏模式下，标签播放的视频嵌入在网页中显示，也就是视频画面作为网页的一部分显示。在全屏模式下，我们是看不到网页其它内容的，因此标签播放的视频可以在一个独立的全屏窗口中显示。这两种截然不同的播放模式，导致Chromium使用不同的方式渲染视频画面。本文接下来就详细分析标签全屏播放的过程。 从前面文章中一文可以知道，在Android平台上，标签指定的视频是通过系统提供的MediaPlayer进行播放的。MediaPlayer提供了一个setSurface

2、接口，用来给MediaPlayer设置一个Surface。Surface内部有一个GPU缓冲区队列，以后MediaPlayer会将解码出来的视频画面写入到这个队列中去。 Surface有两种获取方式。第一种方式是通过SurfaceTexture构造一个新的Surface。第二种方式是从SurfaceView内部获得。在非全屏模式下，Chromium就是通过第一种方式构造一个Surface，然后设置给MediaPlayer的。在全屏模式下，Chromium将会直接创建一个全屏的SurfaceView，然后再从这个SurfaceView内部获得一个Surface，并且设置给MediaPlayer。

3、 在Android平台上，SurfaceView的本质是一个窗口。既然是窗口，那么它的UI就是由系统合成在屏幕上显示的。它的UI就来源于它内部的Surface描述的GPU缓冲区队列。因此，当MediaPlayer将解码出来的视频画面写入到SurfaceView内部的Surface描述的GPU缓冲区队列去时，SurfaceFlinger就会从该GPU缓冲区队列中将新写入的视频画面提取出来，并且合成在屏幕上显示。关于SurfaceView的更多知识，可以参考前面文章中一文。 Surface描述的GPU缓冲区队列，是一个生产者/消息者模型。在我们这个情景中，生产者便是MediaPlayer。如果Su

4、rface是通过SurfaceTexture构造的，那么SurfaceTexture的所有者，也就是Chromium，就是消费者。消费者有责任将视频画面从GPU缓冲区队列中提取出来，并且进行渲染。渲染完成后，再交给SurfaceFlinger合成显示在屏幕中。如果Surface是从SurfaceView内部获取的，那么SurfaceView就是消费者，然后再交给SurfaceFlinger合成显示在屏幕中。 简单来说，在非全屏模式下，标签的视频画面经过MediaPlayer-Chromium-SurfaceFlinger显示在屏幕中，而在全屏模式下，经过MediaPlayer-SurfaceV

5、iew-SurfaceFlinger显示在屏幕中。 Chromium支持标签在全屏和非全屏模式之间无缝切换，也就是从一个模式切换到另外一个模式的时候，不需要重新创建MediaPlayer，只需要给原先使用的MediaPlayer设置一个新的Surface即可。图1描述的是标签从非全屏模式切换为全屏模式的示意图，如下所示： 当标签从非全屏模式切换为全屏模式时，Chromium会为它创建一个全屏的SurfaceView，并且将这个SurfaceView内部的Surface设置给MediaPlayer。以后MediaPlayer就不会再将解码出来的视频画面通过原先设置的SurfaceTexture交

6、给Chromium处理，而是通过后面设置的Surface交给SurfaceView处理。 接下来，我们就结合源代码，从标签进入全屏模式开始，分析标签全屏播放视频的过程。从前面文章中一文可以知道，在WebKit中，标签是通过HTMLMediaElement类描述的。当标签进入全屏模式时，HTMLMediaElement类的成员函数enterFullscreen就会被调用，它的实现如下所示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 void HTMLMediaElement:enterFullscreen WTF_LOG(Media, HTMLMediaEl

7、ement:enterFullscreen); FullscreenElementStack:from(document).requestFullScreenForElement(this, 0, FullscreenElementStack:ExemptIFrameAllowFullScreenRequirement); 这个函数定义在文件external/chromium_org/third_party/WebKit/Source/core/html/HTMLMediaElement.cpp中。 在WebKit中，网页的每一个标签都可以进入全屏模式。每一个网页都对应有一个Fullscree

8、nElementStack对象。这个FullscreenElementStack对象内部有一个栈，用来记录它对应的网页有哪些标签进入了全屏模式。 HTMLMediaElement类的成员函数enterFullscreen首先调用成员函数document获得当前正在处理的标签所属的网页，然后再通过调用FullscreenElementStack类的静态成员函数from获得这个网页所对应的FullscreenElementStack对象。有了这个FullscreenElementStack对象之后，就可以调用它的成员函数requestFullScreenForElement请求将当前正在处理的标签

9、设置为全屏模式。 FullscreenElementStack类的成员函数requestFullScreenForElement的实现如下所示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 void FullscreenElementStack:requestFullScreenForElement(Element* element, unsigned short flags, FullScreenCheckType checkType) . / The Mozilla Full Screen API has different requirements /

10、 for full screen mode, and do not have the concept of a full screen element stack. bool inLegacyMozillaMode = (flags & Element:LEGACY_MOZILLA_REQUEST); do . / 1. If any of the following conditions are true, terminate these steps and queue a task to fire / an event named fullscreenerror with its bubb

11、les attribute set to true on the context objects / node document: . / The context objects node document fullscreen element stack is not empty and its top element / is not an ancestor of the context object. (NOTE: Ignore this requirement if the request was / made via the legacy Mozilla-style API.) if

12、 (!m_fullScreenElementStack.isEmpty & !inLegacyMozillaMode) Element* lastElementOnStack = m_fullScreenElementStack.last.get; if (lastElementOnStack = element | !lastElementOnStack-contains(element) break; / A descendant browsing contexts document has a non-empty fullscreen element stack. bool descen

13、dentHasNonEmptyStack = false; for (Frame* descendant = document-frame ? document-frame-tree.traverseNext : 0; descendant; descendant = descendant-tree.traverseNext) . if (fullscreenElementFrom(*toLocalFrame(descendant)-document) descendentHasNonEmptyStack = true; break; if (descendentHasNonEmptyStac

14、k & !inLegacyMozillaMode) break; . / 2. Let doc be elements node document. (i.e. this) Document* currentDoc = document; / 3. Let docs be all docs ancestor browsing contexts documents (if any) and doc. Deque docs; do docs.prepend(currentDoc); currentDoc = currentDoc-ownerElement ? tDoc-ownerElement-d

15、ocument : 0; while (currentDoc); / 4. For each document in docs, run these substeps: Deque:iterator current = docs.begin, following = docs.begin; do +following; / 1. Let following document be the document after document in docs, or null if there is no / such document. Document* currentDoc = *current

16、; Document* followingDoc = following != docs.end ? *following : 0; / 2. If following document is null, push context object on documents fullscreen element / stack, and queue a task to fire an event named fullscreenchange with its bubbles attribute / set to true on the document. if (!followingDoc) fr

17、om(*currentDoc).pushFullscreenElementStack(element); addDocumentToFullScreenChangeEventQueue(currentDoc); continue; / 3. Otherwise, if documents fullscreen element stack is either empty or its top element / is not following documents browsing context container, Element* topElement = fullscreenElemen

18、tFrom(*currentDoc); if (!topElement | topElement != followingDoc-ownerElement) / .push following documents browsing context container on documents fullscreen element / stack, and queue a task to fire an event named fullscreenchange with its bubbles attribute / set to true on document. from(*currentD

19、oc).pushFullscreenElementStack(followingDoc-ownerElement); addDocumentToFullScreenChangeEventQueue(currentDoc); continue; / 4. Otherwise, do nothing for this document. It stays the same. while (+current != docs.end); / 5. Return, and run the remaining steps asynchronously. / 6. Optionally, perform s

20、ome animation. . document-frameHost-chrome.client.enterFullScreenForElement(element); / 7. Optionally, display a message indicating how the user can exit displaying the context object fullscreen. return; while (0); . 这个函数定义在文件external/chromium_org/third_party/WebKit/Source/core/dom/FullscreenElement

21、Stack.cpp中。 FullscreenElementStack类的成员函数requestFullScreenForElement主要是用来为网页中的每一个Document建立一个Stack。这个Stack记录了Document中所有请求设置为全屏模式的标签。我们通过图2所示的例子说明FullscreenElementStack类的成员函数requestFullScreenForElement的实现： 图2所示的网页包含了两个Document：Doc1和Doc2。其中，Doc1通过标签加载了Doc2，后者里面有一个标签。当Doc2里面的 标签被设置为全屏模式时，Doc1的Stack会被压入

22、一个标签和一个标签，其中，标签代表的是Doc1，Doc2的 Stack会被压入一个标签。 注释中提到，Mozilla定义的Fullscreen API没有Fullscreen Element Stack的概念。没有Fullscreen Element Stack，意味着网页的 标签在任意情况下都可以设置为全屏模式。不过，非Mozilla定义的Fullscreen API是要求Fullscreen Element Stack的。Fullscreen Element Stack用来限制一个标签是否可以设置为全屏模式： 1. 当Stack为空时，任意标签均可设置为全屏模式。 2. 当Stack非空时

23、，栈顶标签的子标签才可以设置为全屏模式。 FullscreenElementStack类的成员函数requestFullScreenForElement就是根据上述逻辑判断参数element描述的标签是否可以设置为全 屏模式的。如果可以，那么就会更新与它相关的Stack，并且在最后调用在WebKit Glue层创建一个WebViewImpl对象的成员函数 enterFullScreenForElement，用来通知WebKit Glue层有一个标签要进入全屏模式。这个WebViewImpl对象的创建过程可以参考前面Chromium网 页Frame Tree创建过程分析一文。WebKit Glu

24、e层的作用，可以参考前面文章中一文。 接下来，我们就继续分析WebViewImpl类的成员函数enterFullScreenForElement的实现，如下所示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 void WebViewImpl:enterFullScreenForElement(WebCore:Element* element) m_fullscreenController-enterFullScreenForElement(element); 这个函数定义在文件external/chromium_org/third_party/WebKit/

25、Source/web/WebViewImpl.cpp中。 WebViewImpl类的成员变量m_fullscreenController指向的是一个FullscreenController对象。WebViewImpl类的成员函数 enterFullScreenForElement调用这个FullscreenController对象的成员函数enterFullScreenForElement，用来通知它将参数element描述的标 签设置为全屏模式。 FullscreenController类的成员函数enterFullScreenForElement的实现如下所示： cpp view plai

26、n copy 在CODE上查看代码片派生到我的代码片 void FullscreenController:enterFullScreenForElement(WebCore:Element* element) / We are already transitioning to fullscreen for a different element. if (m_provisionalFullScreenElement) m_provisionalFullScreenElement = element; return; / We are already in fullscreen mode. if

27、 (m_fullScreenFrame) m_provisionalFullScreenElement = element; willEnterFullScreen; didEnterFullScreen; return; / We need to transition to fullscreen mode. if (WebViewClient* client = m_webViewImpl-client) if (client-enterFullScreen) m_provisionalFullScreenElement = element; 这个函数定义在文件external/chromi

28、um_org/third_party/WebKit/Source/web/FullscreenController.cpp中。 如果参数element描述的标签所在的网页已经有标签处于全屏模式，那么FullscreenController类的成员变量 m_provisionalFullScreenElement就会指向该标签，并且FullscreenController类的另外一个成员变量m_fullScreenFrame会指向一个 LocalFrame对象。这个LocalFrame对象描述的就是处于全屏模式的标签所在的网页。 我们假设参数element描述的标签所在的网页还没有标签被设置为全

29、屏模式。这时候FullscreenController类的成员函数 enterFullScreenForElement会调用成员变量m_webViewImpl指向的一个WebViewImpl对象的成员函数client获得一个WebViewClient接口，然后 再调用这个WebViewClient接口的成员函数enterFullScreen，用来通知它进入全屏模式。 上述WebViewClient接口是由WebKit的使用者设置的。在我们这个情景中，WebKit的使用者即Render进程中的Content模块，它设置的 WebViewClient接口指向的是一个RenderViewImpl对象

30、。这个RenderViewImpl对象的创建过程可以参考前面Chromium网页Frame Tree创建过程分 析一文，它描述的是当前正在处理的网页所加载在的一个RenderView控件。这一步实际上是通知Chromium的Content层进入全屏模式。 FullscreenController类的成员函数enterFullScreenForElement通知了Content层进入全屏模式之后，会将引发Content层进入全屏模 式的标签记录在成员变量m_provisionalFullScreenElement中。在我们这个情景中，这个标签即为一个标签。 接下来我们继续分析Chromium的C

31、ontent层进入全屏模式的过程，也就是RenderViewImpl类的成员函数enterFullScreen的实现，如下所 示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 bool RenderViewImpl:enterFullScreen Send(new ViewHostMsg_ToggleFullscreen(routing_id_, true); return true; 这个函数定义在文件external/chromium_org/content/renderer/render_view_impl.cc。 RenderViewImpl类的成员

32、函数enterFullScreen向Browser进程发送一个类型为ViewHostMsg_ToggleFullscreen的IPC消息，用来通知它 将Routing ID为routing_id_的网页所加载在的Tab设置为全屏模式。 Browser进程通过RenderViewHostImpl类的成员函数OnMessageReceived接收类型为ViewHostMsg_ToggleFullscreen的IPC消息，如下所 示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 bool RenderViewHostImpl:OnMessageReceived(c

33、onst IPC:Message& msg) . bool handled = true; IPC_BEGIN_MESSAGE_MAP(RenderViewHostImpl, msg) . IPC_MESSAGE_HANDLER(ViewHostMsg_ToggleFullscreen, OnToggleFullscreen) . IPC_MESSAGE_UNHANDLED( handled = RenderWidgetHostImpl:OnMessageReceived(msg) IPC_END_MESSAGE_MAP return handled; 这个函数定义在文件external/ch

34、romium_org/content/browser/renderer_host/render_view_host_impl.cc中。 RenderViewHostImpl类的成员函数OnMessageReceived将类型为ViewHostMsg_ToggleFullscreen的IPC消息分发给另外一个成员函数 OnToggleFullscreen处理，如下所示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 void RenderViewHostImpl:OnToggleFullscreen(bool enter_fullscreen) DCHECK_C

35、URRENTLY_ON(BrowserThread:UI); delegate_-ToggleFullscreenMode(enter_fullscreen); / We need to notify the contents that its fullscreen state has changed. This / is done as part of the resize message. WasResized; 这个函数定义在文件external/chromium_org/content/browser/renderer_host/render_view_host_impl.cc中。 R

36、enderViewHostImpl类的成员函数OnToggleFullscreen首先通过成员变量delegate_描述的一个RenderViewHostDelegate委托接口将浏 览器窗口设置为全屏模式，然后再调用另外一个成员函数WasResized通知Render进程，浏览器窗口大小已经发生了变化，也就是它进入了全屏 模式。 RenderViewHostImpl类的成员变量delegate_描述的RenderViewHostDelegate委托接口指向的是一个WebContentsImpl对象。这个 WebContentsImpl对象是Content层提供给外界的一个接口，用来描述当前正

37、在加载的一个网页。外界通过这个接口就可以访问当前正在加载的 网页。 RenderViewHostImpl类的成员函数WasResized是从父类RenderWidgetHostImpl继承下来的，它的实现如下所示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 void RenderWidgetHostImpl:WasResized . is_fullscreen_ = IsFullscreen; . ViewMsg_Resize_Params params; . params.is_fullscreen = is_fullscreen_; if (!Send

38、(new ViewMsg_Resize(routing_id_, params) resize_ack_pending_ = false; else last_requested_size_ = new_size; 这个函数定义在文件external/chromium_org/content/browser/renderer_host/render_widget_host_impl.cc中。 RenderWidgetHostImpl类的成员函数WasResized主要是向Render进程发送一个类型为ViewMsg_Resize的IPC消息。这个ViewMsg_Resize 的IPC消息。携带

39、了一个is_fullscreen信息，用来告知Render进程当前正在处理的网页是否已经进入了全屏模式。 Render进程通过RenderWidget类的成员函数OnMessageReceived接收类型为ViewMsg_Resize的IPC消息，如下所示： cpp view plain copy 在CODE上查看代码片派生到我的代码片 bool RenderWidget:OnMessageReceived(const IPC:Message& message) bool handled = true; IPC_BEGIN_MESSAGE_MAP(RenderWidget, message)

40、. IPC_MESSAGE_HANDLER(ViewMsg_Resize, OnResize) . IPC_MESSAGE_UNHANDLED(handled = false) IPC_END_MESSAGE_MAP return handled; 这个函数定义在文件external/chromium_org/content/renderer/render_widget.cc中。 RenderWidget类的成员函数OnMessageReceived将类型为ViewMsg_Resize的IPC消息分发给另外一个成员函数OnResize处理，如下所示： cpp view plain copy 在

41、CODE上查看代码片派生到我的代码片 void RenderWidget:OnResize(const ViewMsg_Resize_Params& params) . Resize(params.new_size, params.physical_backing_size, params.overdraw_bottom_height, params.visible_viewport_size, params.resizer_rect, params.is_fullscreen, SEND_RESIZE_ACK); . 这个函数定义在文件external/chromium_org/content/renderer/render_widget.cc中。 RenderWidget类的成员函数OnResize又调用另外一个成员函数Resize处理类型为ViewMsg_